El archivo robots.txt es una recurso fundamental para toda sitio web que busca ser bien indexada por los rastreadores como Chrome . Funciona como un directorio para los rastreadores , indicándoles qué páginas de tu web pueden están crawleadas y cuáles se deben excluir . La adecuada configuración de