Robots

Lección 12 de la Guía SEO para Principiantes

¿Para qué sirve el archivo robots.txt?

Ya sabemos qué es un robot, pero cómo interactuamos con él. ¿Cómo le indicamos cuáles son aquellos lugares que deseamos que visite y cuáles los que están prohibidos.

Mediante la directiva robots localizada en un archivo de texto al cual llamaremos robots.txt.

Robots.txt es un archivo simple que incluirá las siguientes líneas de texto:

User-agent: *
Disallow: /admin/

User-agent, en este caso concreto el símbolo asterisco o comodín (*) indica a todos los robots que tienen permitido rastrear el sitio.

Disallow, corresponde a los directorios que no queremos que rastree, en este caso el directorio "/admin/".

¿Tienes preguntas?

[vivafbcomment]