Robots.txt: пример и параметры файла
robots.txt - Зачем он нужен?
Этот файл содержит определённые инструкции для поисковых систем, например через него можно полностью или частично закрыть индексацию сайта
Простой пример robots.txt:
User-agent: * Allow: / Disallow: /core/ Disallow: /connectors/ Disallow: /manager/ Crawl-delay: 10 Host: site.ru Sitemap: http://site.ru/sitemap.xml
В данном примере, доступ разрешён ко всем папка, кроме тех, которые указаны в 2-4 строке, с загрузкой страниц для поисковых роботов в 10 секунд, также указан хост сайта и путь на карту сайта.
Параметры robotst.txt:
User-agent | Доступ для поисковых роботов |
Allow | Открыть доступ для файлов |
Disallow | Закрыть доступ к файлам |
Crawl-delay | Обход страниц поисковым роботом |
Host | Хост сайта |
Sitemap | Путь до карты сайта |
Оставить комментарий