Вернуться

Как настроить robots.txt?

robots.txt — это специальный файл, позволяющий настроить порядок индексирования вашего сайта поисковыми роботами.

Вот некоторые настройки, которые можно произвести при помощи robots.txt:

закрыть от индексирования определённые страницы сайта;
запретить индексацию для конкретных роботов или вовсе закрыть сайт от индексации;
задать время (интервал) посещения страницы вашего сайта поисковыми роботами.

Настройка robots.txt

Файл robots.txt необходимо размещать в каталоге сайта. Если файла не существует, просто создайте его.

Как задать таймаут обращения поисковых роботов?

Вы можете задать таймаут обращения поисковых роботов при помощи директивы «Crawl-delay»:

# задаем таймаут в 40 секунд только для bingbot
User-agent: bingbot
Crawl-delay: 40 

# задаем таймаут в 40 секунд для всех роботов
User-agent: *
Crawl-delay: 40

Директива «User-agent» определяет, для какого робота будут работать правила. Можно указать названия конкретных роботов, а можно задать правило для всех роботов.

На VIP-тарифах установлена автоматическая блокировка нежелательных ботов:

MJ12bot
BLEXBot
AhrefsBot
SemrushBot
DotBot

Как закрыть индексацию папки, URL?

# закрываем индексацию страницы vip.html для Googlebot:
User-agent: Googlebot
Disallow: /vip.html  

# закрываем индексацию папки private всеми роботами:
User-agent: *
Disallow: /private/   

# разрешаем доступ только к страницам, начинающимся с '/shared' для Yandexbot
User-agent: Yandex
Disallow: /    
Allow: /shared

Как полностью закрыть сайт от индексации?

Для запрета индексации вашего сайта всеми поисковыми роботами добавьте в файл robots.txt следующие строки:

User-agent: *
Disallow: /

Примечание

Google

Не все поисковые роботы следуют правилам в robots.txt. Так, например, «Googlebot» следует запрещающим правилам («Disallow»), но не следует директиве «Crawl-delay». Ограничивать «Googlebot» необходимо через Инструменты для веб-мастеров Google.

Yandex

Для робота «YandexBot» максимально возможное ограничение через robots.txt составляет 2 секунды. Чтобы указать нужную частоту, с которой робот будет индексировать ваш сайт, воспользуйтесь Яндекс.Вебмастером.