Все для создания и продвижения сайтов

Верстка, программирование, SEO

Robots.txt: пример и параметры файла

robots.txt - Зачем он нужен?

Этот файл содержит определённые инструкции для поисковых систем, например через него можно полностью или частично закрыть индексацию сайта

Простой пример robots.txt:

User-agent: *
Allow: /
Disallow: /core/
Disallow: /connectors/
Disallow: /manager/
Crawl-delay: 10
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

В данном примере, доступ разрешён ко всем папка, кроме тех, которые указаны в 2-4 строке, с загрузкой страниц для поисковых роботов в 10 секунд, также указан хост сайта и путь на карту сайта.

Параметры robotst.txt:

User-agentДоступ для поисковых роботов
AllowОткрыть доступ для файлов
DisallowЗакрыть доступ к файлам
Crawl-delayОбход страниц поисковым роботом
HostХост сайта
SitemapПуть до карты сайта

Выделите опечатку и нажмите Ctrl + Enter, чтобы отправить сообщение об ошибке.