El archivo robots.txt es una elemento clave para cualquier sitio que desea aparecer bien vista por los buscadores como Google . Opera como un directorio para los crawlers , indicándoles qué secciones de tu plataforma pueden ser indexadas y cuáles se deben excluir . Una correcta configuración de este