Hasta ahora había publicado algunos tips para mejorar nuestro posicionamiento y lograr que google nos indexe.
Sin embargo a veces es necesario que no indexe todo, sino que se abstenga de incluir ciertas carpetas y páginas que deben estar ocultas a usuarios ajenos para esto hay que crear un archivo ROBOTS.TXT y subirlo en la carpeta principal de nuestro sitio (usualmente www y/o public_html).
En pocas palabras va a hacer lo opuesto a un sitemap indicando que NO indexar
¿Qué es robots.txt?
Este archivo permite dar ciertas directivas a los spiders de lo buscadores (google, yahoo…), podemos indicar que estas instrucciones sean para un spider específico por ejemplo:
[cc lang=»html»]
User-agent: *
[/cc]
En este caso le decimos que las condiciones se aplique a todos, luego podemos decirle que no indexe la carpeta imagenes por ejemplo
y la pagina login.html
[cc lang=»html»]
User-agent: *
Disallow: /login.html
Disallow: /imagenes/
Disallow: /*/subcarpeta/
Disallow: *
[/cc]
Existen otras opciones que puedes revisar en su WEB
