Как настроить robots.txt?
— это специальный файл, позволяющий настроить порядок индексирования вашего сайта поисковыми роботами.
Вот некоторые настройки, которые можно произвести при помощи
:- закрыть от индексирования определённые страницы сайта;
- запретить индексацию для конкретных роботов или вовсе закрыть сайт от индексации;
- задать время (интервал) посещения страницы вашего сайта поисковыми роботами.
Настройка robots.txt
Файл каталоге сайта. Если файла не существует, просто создайте его.
необходимо размещать вПримечание
Не все поисковые роботы следуют правилам в Инструменты для веб-мастеров Google.
. Так, например, «Googlebot» следует запрещающим правилам («Disallow»), но не следует директиве «Crawl-delay». Ограничивать «Googlebot» необходимо черезYandex
Для робота «YandexBot» максимально возможное ограничение через Яндекс.Вебмастером.
составляет 2 секунды. Чтобы указать нужную частоту, с которой робот будет индексировать ваш сайт, воспользуйтесь- cправка Yandex: Использование robots.txt
- cправка Google: О файлах robots.txt
25
раз уже
помогла
помогла
Связанные статьи
Связанные темы
Нужна помощь?
Напишите в службу поддержки!