*Herramienta Robots.txt Generator

Herramienta no disponible

1. Si un Sitemap es un mapa que indica a los buscadores como está ordenada una web, el robot.txt es un portero de discoteca que dice que chicos pueden entrar y cuales se quedan fuera, o visto de otra forma el robots.txt es el relaciones públicas encantado que te presenta a la gente “Guay” de la discoteca y huye de los “trolls”. Así de simple ;-)
2. Google usa varios agentes de usuario, como Googlebot para Búsqueda de Google y Googlebot-Image para Búsqueda de imágenes de Google. La mayoría de agentes de usuario de Google siguen las reglas que establezcas para Googlebot, pero también puedes anular esta opción y crear reglas específicas solo para determinados agentes de usuario de Google.

• Para crear un Robot.txt solo tienes que llenar los campos, guardar y subir al dominio raíz:
  • Darlo de alta en las siguientes herramientas:
    • Google webmaster Tools: https://www.google.com/webmasters/tools/
    • Bing webmaster Tools: http://www.bing.com/toolbox/webmaster
    • Baidu webmaster Tools: http://www.webnots.com/baidu-webmaster-tools-in-english/Yandex webmaster Tools
    • https://webmaster.yandex.com/

¿Cómo funciona El archivo robots.txt?

Utiliza dos palabras clave, User-agent y Disallow.

1. Disallow: /links.html
2. Disallow: /private/
3. Disallow: /photos/

Disallow: / prohíbe la entrada a todo el sitio.

Disallow: /foro/ prohíbe la entrada a los documentos del directorio foro.

Disallow: permite la entrada a todo el sitio.

Podremos conseguir una serie de beneficios

• Impedir acceso a robots determinados: Puede parecer contradictorio, pero algunos crawlers no nos proporcionarán sino problemas. Algunos robots no son de buscadores, e incluso algunos robots no son ni amigos. Pero de eso ya hablaremos más tarde.
• Reducir la sobrecarga del servidor: Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
• Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
• Eliminar contenido duplicado: Uno de los casos más importantes, que casi siempre es olvidado por los webmasters. Si eliminamos la duplicidad de