Generador Robots.txt


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.


Acerca de Generador Robots.txt

Una de las muchas herramientas de optimización de motores de búsqueda (SEO) es el generador de texto robot. Esto es muy efectivo para mejorar la clasificación y la tasa de visibilidad de su sitio. Antes que nada, primero debe comprender la importancia de un texto de robot.

 

¿Qué es el texto de robot?
Para que comprenda completamente la relevancia del generador de texto de robot, es importante saber qué es el texto de robot. El texto de robot es lo primero que buscan los motores de búsqueda cada vez que rastrean un sitio. Una vez que lo encuentren, comprobarán la lista de directivas del archivo para saber qué archivos y directorios, si los hay, están específicamente bloqueados para que no se rastreen.


El archivo de texto de robot se puede crear mediante el uso del mejor generador de texto de robot. Si utiliza esta herramienta de SEO para crear el archivo, los motores de búsqueda verán automáticamente qué páginas de un determinado sitio web deben excluirse. También puedes bloquear rastreadores y herramientas de análisis de backlinks como Ahrefs, Majestic, SEOmoz, SEMrush, WebMeUp, SEOprofiler y muchas más.

 

Uso del generador
Con la herramienta de generación de texto de robot, también puede editar un archivo de texto de robot existente además de crear uno nuevo. Para usar esta herramienta, solo necesita pegar los detalles en el cuadro de texto de la herramienta. Después de eso, solo tienes que hacer clic en el botón "Crear".

 

También puede crear directivas a través de esta herramienta. Puede elegir permitir o no permitir. Recuerde que el valor predeterminado habitual es "permitir", por lo tanto, debe cambiarlo si desea no permitir algo. También tiene las opciones para agregar o eliminar directivas.

 

Utilice esta herramienta y ayude a Google, Bing, Yahoo! ¡y otros motores de búsqueda indexan tu página correctamente! Recuerde cambiar la configuración si desea personalizar. De forma predeterminada, permitirá que los principales motores de búsqueda rastreen todo su sitio. Si desea mantener algo privado en su página, esta herramienta será de gran ayuda.