Herramienta no disponible
- Si un Sitemap es un mapa que indica a los buscadores como está ordenada una web, el robot.txt es un portero de discoteca que dice que chicos pueden entrar y cuales se quedan fuera, o visto de otra forma el robots.txt es el relaciones públicas encantado que te presenta a la gente “Guay” de la discoteca y huye de los “trolls”. Así de simple ;-)
- Google usa varios agentes de usuario, como Googlebot para Búsqueda de Google y Googlebot-Image para Búsqueda de imágenes de Google. La mayoría de agentes de usuario de Google siguen las reglas que establezcas para Googlebot, pero también puedes anular esta opción y crear reglas específicas solo para determinados agentes de usuario de Google.
- Para crear un Robot.txt solo tienes que llenar los campos, guardar y subir al dominio raíz:
- Darlo de alta en las siguientes herramientas:
- Google webmaster Tools: https://www.google.com/webmasters/tools/
- Bing webmaster Tools: http://www.bing.com/toolbox/webmaster
- Baidu webmaster Tools: http://www.webnots.com/baidu-webmaster-tools-in-english/Yandex webmaster Tools
- https://webmaster.yandex.com/
- Darlo de alta en las siguientes herramientas:
¿Cómo funciona El archivo robots.txt?
Utiliza dos palabras clave, User-agent y Disallow.
- Disallow: /links.html
- Disallow: /private/
- Disallow: /photos/
Disallow: / prohíbe la entrada a todo el sitio.
Disallow: /foro/ prohíbe la entrada a los documentos del directorio foro.
Disallow: permite la entrada a todo el sitio.
Podremos conseguir una serie de beneficios
- Impedir acceso a robots determinados: Puede parecer contradictorio, pero algunos crawlers no nos proporcionarán sino problemas. Algunos robots no son de buscadores, e incluso algunos robots no son ni amigos. Pero de eso ya hablaremos más tarde.
- Reducir la sobrecarga del servidor: Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
- Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
- Eliminar contenido duplicado: Uno de los casos más importantes, que casi siempre es olvidado por los webmasters. Si eliminamos la duplicidad de