Как настроить robots.txt?

robots.txt — это специальный файл, позволяющий настроить порядок индексирования вашего сайта поисковыми роботами.

Вот некоторые настройки, которые можно произвести при помощи robots.txt:

• закрыть от индексирования определённые страницы сайта;
• запретить индексацию для конкретных роботов или вовсе закрыть сайт от индексации;
• задать время (интервал) посещения страницы вашего сайта поисковыми роботами.

Настройка robots.txt

Файл robots.txt необходимо размещать в каталоге сайта. Если файла не существует, просто создайте его.

# задаем таймаут в 40 секунд только для YandexBot
User-agent: Yandex
Crawl-delay: 40 

# задаем таймаут в 40 секунд только для bingbot
User-agent: bingbot
Crawl-delay: 40 

# задаем таймаут в 40 секунд для всех роботов
User-agent: *
Crawl-delay: 40

# закрываем индексацию страницы vip.html для Googlebot:
User-agent: Googlebot
Disallow: /vip.html  

# закрываем индексацию папки private всеми роботами:
User-agent: *
Disallow: /private/   

# разрешаем доступ только к страницам, начинающимся с '/shared' для Yandexbot
User-agent: Yandex
Disallow: /    
Allow: /shared

User-agent: *
Disallow: /

Примечание

Не все поисковые роботы следуют правилам в robots.txt. Так, например, «Googlebot» следует запрещающим правилам («Disallow»), но не следует директиве «Crawl-delay». Ограничивать «Googlebot» необходимо через Инструменты для веб-мастеров Google.

• cправка Yandex: Использование robots.txt
• cправка Google: О файлах robots.txt