El Robots.txt es un archivo de texto creado para indicar a las arañas de Google cómo rastrear e indexar las páginas de tu web.
Cómo usar Robots.txt
Hay muchas instancias en las cuales no queremos que ciertas páginas de nuestra web sean indexadas por Google. Por ejemplo, si tenemos una página donde explicamos nuestra política de cookies como requiere la ley, es posible que no queramos que dicha página sea indexada por Google y ofrecida a usuarios en el motor de búsqueda ya que no guarda ninguna relación con nuestros productos y servicios.
Ejemplos de páginas que quizá quieras excluir del rastreo de Google son: páginas de login, página de contacto, zona de clientes, imágenes que no quieras compartir en motores de búsqueda.
Como comprobar si tienes Robots.txt
Quizá lo primero que te preguntes es si de hecho tu web ya tiene este fichero. En ciertas ocasiones si tu web está construida en WordPress hay plugins que lo crean directamente por lo que es mejor comprobar esto primero. Todo lo que hay que hacer es ir a un explorador y dirigirte a http://tusitioweb.es/robots.txt
Si ves instrucciones en esta dirección, el fichero está creado. De lo contrario puedes crear uno.
Cómo crear un Robots.txt
Una manera simple de saber las páginas indexadas en Google es utilizar el operador “site”.
Iremos a Google y escribimos “site:nombredetuweb.es”. Esto nos indicará todas las páginas que Google ha encontrado dentro de nuestra web. Ahora podemos hacer una lista con aquellas que no creamos que sean valiosas para los usuarios como las mencionadas antes.
Una vez tengamos la lista, podemos usar un generador de Robots.txt o simplemente crear un archivo de texto con el block de notas con las siguientes instrucciones. Si por ejemplo queremos ocultar la página de contacto:
Ahora todo lo que hay que hacer es añadir las páginas que hemos apuntando anteriormente y ponerlas consecutivamente debajo de la contacto y siguiendo la misma sintaxis. Una vez finalizado todo lo que tienes que hacer es guardar el archivo como robots.txt y subirlo al directorio principal de tu web de manera que sea visible cuando vayas a www.tusitioweb.es/robots.txt
¿Confundido con las siglas y términos SEO? Te lo explicamos todo en nuestro Glosario SEO