El fichero robots.txt es un archivo en forma de texto que indica a los rastreadores que indexen o no ciertas páginas. También es conocido como el portero de todo su sitio. El primer objetivo de los rastreadores es encontrar y leer el archivo robots.txt antes de acceder al Sitemap o a cualquier página o carpeta.
Cree un archivo de robots para su sitio utilizando una utilidad, un plugin de Wordpress o el proceso de creación robots.txt de su CMS. Siga nuestras guías que se encuentran a continuación.