robots.txt

Robots.txt es un archivo de texto ubicado en el directorio raíz de un sitio web que especifica qué páginas y