Это файл, запрещающий индексацию отдельных элементов сайта (страниц, файлов, каталогов), связанных, например, с конфиденциальной информацией. https://zamericanenglish.net/discussion/index.php?qa=user&qa_1=poetiraq07