+34950936187 abogado@clicklaw.es

*Herramienta Robots.txt Generator

2 minuteslectura

Herramienta no disponible

  1. Si un Sitemap es un mapa que indica a los buscadores como está ordenada una web, el robot.txt es un portero de discoteca que dice que chicos pueden entrar y cuales se quedan fuera, o visto de otra forma el robots.txt es el relaciones públicas encantado que te presenta a la gente “Guay” de la discoteca y huye de los “trolls”. Así de simple ;-)
  2. Google usa varios agentes de usuario, como Googlebot para Búsqueda de Google y Googlebot-Image para Búsqueda de imágenes de Google. La mayoría de agentes de usuario de Google siguen las reglas que establezcas para Googlebot, pero también puedes anular esta opción y crear reglas específicas solo para determinados agentes de usuario de Google.
  • Para crear un Robot.txt solo tienes que llenar los campos, guardar y subir al dominio raíz:
    • Darlo de alta en las siguientes herramientas:
      • Google webmaster Tools: https://www.google.com/webmasters/tools/
      • Bing webmaster Tools: http://www.bing.com/toolbox/webmaster
      • Baidu webmaster Tools: http://www.webnots.com/baidu-webmaster-tools-in-english/Yandex webmaster Tools
      • https://webmaster.yandex.com/

¿Cómo funciona El archivo robots.txt?

Utiliza dos palabras clave, User-agent y Disallow.

  1. Disallow: /links.html
  2. Disallow: /private/
  3. Disallow: /photos/

Disallow: / prohíbe la entrada a todo el sitio.

Disallow: /foro/ prohíbe la entrada a los documentos del directorio foro.

Disallow: permite la entrada a todo el sitio.

 

Podremos conseguir una serie de beneficios

  • Impedir acceso a robots determinados: Puede parecer contradictorio, pero algunos crawlers no nos proporcionarán sino problemas. Algunos robots no son de buscadores, e incluso algunos robots no son ni amigos. Pero de eso ya hablaremos más tarde.
  • Reducir la sobrecarga del servidor: Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
  • Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
  • Eliminar contenido duplicado: Uno de los casos más importantes, que casi siempre es olvidado por los webmasters. Si eliminamos la duplicidad de

Related Knowledge Base Posts

Enviar comentario

Tu dirección de correo electrónico no será publicada.

Bienvenido ClickLaw