Generador Robots.txt

Predeterminado - Todos los robots son:	Permitido Rechazado
Retardo de rastreo:	Predeterminado - Sin retraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mapa del sitio: (deje en blanco si no tiene)
Robots de búsqueda:	Google	Igual que el predeterminado Permitido Rechazado
	Google Image	Igual que el predeterminado Permitido Rechazado
	Google Mobile	Igual que el predeterminado Permitido Rechazado
	MSN Search	Igual que el predeterminado Permitido Rechazado
	Yahoo	Igual que el predeterminado Permitido Rechazado
	Yahoo MM	Igual que el predeterminado Permitido Rechazado
	Yahoo Blogs	Igual que el predeterminado Permitido Rechazado
	Ask/Teoma	Igual que el predeterminado Permitido Rechazado
	GigaBlast	Igual que el predeterminado Permitido Rechazado
	DMOZ Checker	Igual que el predeterminado Permitido Rechazado
	Nutch	Igual que el predeterminado Permitido Rechazado
	Alexa/Wayback	Igual que el predeterminado Permitido Rechazado
	Baidu	Igual que el predeterminado Permitido Rechazado
	Naver	Igual que el predeterminado Permitido Rechazado
	MSN PicSearch	Igual que el predeterminado Permitido Rechazado
Directorios restringidos:	La ruta es relativa a la raíz y debe contener una barra diagonal. "/"

Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.

Acerca de Generador Robots.txt

Una de las muchas herramientas de optimización de motores de búsqueda (SEO) es el generador de texto robot. Esto es muy efectivo para mejorar la clasificación y la tasa de visibilidad de su sitio. Antes que nada, primero debe comprender la importancia de un texto de robot.

 

¿Qué es el texto de robot?
Para que comprenda completamente la relevancia del generador de texto de robot, es importante saber qué es el texto de robot. El texto de robot es lo primero que buscan los motores de búsqueda cada vez que rastrean un sitio. Una vez que lo encuentren, comprobarán la lista de directivas del archivo para saber qué archivos y directorios, si los hay, están específicamente bloqueados para que no se rastreen.

El archivo de texto de robot se puede crear mediante el uso del mejor generador de texto de robot. Si utiliza esta herramienta de SEO para crear el archivo, los motores de búsqueda verán automáticamente qué páginas de un determinado sitio web deben excluirse. También puedes bloquear rastreadores y herramientas de análisis de backlinks como Ahrefs, Majestic, SEOmoz, SEMrush, WebMeUp, SEOprofiler y muchas más.

 

Uso del generador
Con la herramienta de generación de texto de robot, también puede editar un archivo de texto de robot existente además de crear uno nuevo. Para usar esta herramienta, solo necesita pegar los detalles en el cuadro de texto de la herramienta. Después de eso, solo tienes que hacer clic en el botón "Crear".

 

También puede crear directivas a través de esta herramienta. Puede elegir permitir o no permitir. Recuerde que el valor predeterminado habitual es "permitir", por lo tanto, debe cambiarlo si desea no permitir algo. También tiene las opciones para agregar o eliminar directivas.

 

Utilice esta herramienta y ayude a Google, Bing, Yahoo! ¡y otros motores de búsqueda indexan tu página correctamente! Recuerde cambiar la configuración si desea personalizar. De forma predeterminada, permitirá que los principales motores de búsqueda rastreen todo su sitio. Si desea mantener algo privado en su página, esta herramienta será de gran ayuda.