*Herramienta Robots.txt Generator

2 minutesLeer

Herramienta no disponible

  1. Si un Sitemap es un mapa que indica a los buscadores como está ordenada una web, el robot.txt es un portero de discoteca que dice que chicos pueden entrar y cuales se quedan fuera, o visto de otra forma el robots.txt es el relaciones públicas encantado que te presenta a la gente “Guay” de la discoteca y huye de los “trolls”. Así de simple ;-)
  2. Google usa varios agentes de usuario, como Googlebot para Búsqueda de Google y Googlebot-Image para Búsqueda de imágenes de Google. La mayoría de agentes de usuario de Google siguen las reglas que establezcas para Googlebot, pero también puedes anular esta opción y crear reglas específicas solo para determinados agentes de usuario de Google.
  • Para crear un Robot.txt solo tienes que llenar los campos, guardar y subir al dominio raíz:
    • Darlo de alta en las siguientes herramientas:
      • Google webmaster Tools: https://www.google.com/webmasters/tools/
      • Bing webmaster Tools: http://www.bing.com/toolbox/webmaster
      • Baidu webmaster Tools: http://www.webnots.com/baidu-webmaster-tools-in-english/Yandex webmaster Tools
      • https://webmaster.yandex.com/

¿Cómo funciona El archivo robots.txt?

Utiliza dos palabras clave, User-agent y Disallow.

  1. Disallow: /links.html
  2. Disallow: /private/
  3. Disallow: /photos/

Disallow: / prohíbe la entrada a todo el sitio.

Disallow: /foro/ prohíbe la entrada a los documentos del directorio foro.

Disallow: permite la entrada a todo el sitio.

 

Podremos conseguir una serie de beneficios

  • Impedir acceso a robots determinados: Puede parecer contradictorio, pero algunos crawlers no nos proporcionarán sino problemas. Algunos robots no son de buscadores, e incluso algunos robots no son ni amigos. Pero de eso ya hablaremos más tarde.
  • Reducir la sobrecarga del servidor: Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
  • Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
  • Eliminar contenido duplicado: Uno de los casos más importantes, que casi siempre es olvidado por los webmasters. Si eliminamos la duplicidad de

0
0
268
2 minutesLeer

Related Knowledge Base Posts

Enviar comentario

Tu dirección de correo electrónico no será publicada.

Bienvenido ClickLaw