Чек-лист: продвижение в Google без проблем с индексацией сайта

Вы продвигаете сайт, но его позиции не растут — кажется, что Google игнорирует все изменения, которые вы вносите. Вполне возможно, что поисковые роботы не видят или не индексируют страницы вашего ресурса. Обычно причина этого в просчетах и ошибках при работе над сайтом. 

Как российское, так и западное SEO-сообщество регулярно разбирают ситуации, при которых Google не индексирует сайты. Чтобы упростить работу оптимизаторов, команда Links.Sape предлагает чек-лист возможных проблем с индексацией и рекомендации по их решению. 

Отсутствие доменного имени

Если вы хотите добиться эффективного продвижения, удостоверьтесь, что у сайта есть доменное имя. Например, такая проблема возникает при неправильной настройке ресурсов, сделанных на WordPress. 

Возможно, пользователи попадают на ваш сайт по редиректу с IP-адреса, вместо доменного имени или редирект IP-адреса настроен некорректно. Можно попробовать добавить редиректы 301 с www-версий страниц обратно на соответствующий домен, чтобы перенаправлять пользователей туда.

Если у вас есть более одного варианта домена — особенно в случае переезда с http:// на https:// — их необходимо добавить в консоль. Важно не упустить ни одну из вариаций, а также подтвердить свое право собственности на них. В противном случае страницы или весь сайт могут не индексироваться в Google, так как поисковые роботы будут видеть несоответствие. Впрочем, обычно эта проблема возникает только у сайтов, которые существуют уже значительное время.

Мешающие плагины и JavaScript 

Не исключено, что некоторые плагины на вашем сайте мешают индексации страниц. Например, плагин для WordPress — Virtual Robots.txt, в котором будет прописано norobots, полностью закроет роботам доступ к вашему ресурсу.  

Проверьте robots.txt и убедитесь, что он не содержит строки:

User-agent: *

Disallow: /

Символ «/» означает, что все страницы корневого каталога закрыты для роботов. Строка Disallow: не должна иметь символов после двоеточия, если вы не хотите заблокировать от индексации какие-то конкретные элементы сайта.

Также работе поисковых роботов может мешать использование JavaScript. Это может произойти, если скрипт применяется, чтобы загружать контент из браузера пользователей. Кроме того, не рекомендуется скрывать файлы JavaScript и CSS, поскольку с точки зрения Google, эти элементы должны быть доступны.

Метатэги Noindex и Nofollow

Иногда случаются ситуации, когда метатэги получают свойства Noindex и Nofollow. Например, ваш сайт ссылается на страницу, которая была проиндексирована роботами Google и потом удалена, до того, как тэги были правильно настроены. В результате может получиться, что страница никогда не будет проиндексирована снова.

Чтобы избегать таких ситуаций, измените тэги на index и follow. Чем больше страниц на сайте, тем сложнее будет процесс ручной проверки и смены тэгов, но это — необходимая работа, защищающая ваш ресурс от досадных ошибок.

Скверная техническая оптимизация

Техническая оптимизация крайне важна и если вы не уверены в своих силах, лучшим выходом будет обратиться к профессионалам. Результат оценят и пользователи и поисковые роботы Google. 

В процессе технической оптимизации вы сможете исправить целый ряд серьезных ошибок, способных повлечь исключение страниц из индексации:

• сайт может не соответствовать стандартам Core Web Vitals (группа новых факторов ранжирования), на которые опирается Google;
• в коде могут быть допущены опечатки;
• на некоторых страницах мог образоваться циклический редирект, перенаправляющий на них же;
• настройки сайта блокируют работу поисковых роботов.

Медленная загрузка

Низкая скорость загрузки — один из факторов, из-за которых Google снижает позиции ресурса в выдаче. Это влияет на целый ряд поведенческих факторов — растет количество отказов, уменьшается проводимое на сайте время.

Обычно скорость падает из-за изобилия контента и его недостаточной оптимизации. Возможно, используется старый сервер с ограниченными возможностями. В случае, если вы столкнулись с такой проблемой, можно попробовать следующие решения:

1. Сервис Google PageSpeed Insights показывает, какие страницы нуждаются в улучшении скорости загрузки. Он проверяет, можно ли уменьшить число соединений, нагрузку, кэширование браузера и ряд других важных параметров, а также предлагает варианты исправления этих аспектов. 
2. Используйте инструмент Webpagetest.org, чтобы оценить общую скорость загрузки сайта. Он также указывает, какие конкретно элементы вызывают проблемы с загрузкой. 

Еще несколько советов по ускорению работы сайта можете найти здесь.

Отказ от карты сайта

Если вы не используете карту сайта, роботы будут инспектировать его практически вслепую. В связи с этим часть страниц может не пройти индексацию. Файл Sitemap поможет указать, какие страницы наиболее важны и должны регулярно проверяться поисковой системой. 

Также желательно создавать этот файл в формате XML, формат HTML использовать нежелательно.

Неудобство сайта

Чем проще пользователям ориентироваться на сайте, тем выше он будет ранжироваться в выдаче Google. Если страница грузится слишком долго, имеет переусложненную навигацию или забита разными отвлекающими приложениями, ее могут не проиндексировать. 

Также если вы создаете страницы под категории товаров, но каждая из них содержит только один продукт, поисковые роботы могут счесть такие страницы не заслуживающими внимания. 

Делайте перелинковку, чтобы пользователи, углубившись в изучение материалов, всегда могли быстро и удобно возвращаться обратно. Старайтесь давать аудитории лучший возможный опыт от посещения сайта на каждой из его страниц. 

Неадаптированная мобильная версия

Для продвижения в Google сайт обязан иметь работающую и адаптированную мобильную версию, в противном случае скорее всего индексироваться он не будет. Причем не помогут ни контент, ни ссылки, ни другие методы оптимизации. Если контент нельзя полноценно посмотреть с планшета или смартфона — вы будете терять позиции и трафик. 

При этом оптимизация под мобильные устройства не отличается сложностью — достаточно добавить адаптивные элементы дизайна, например гибкие сетки и медиа-запросы в CSS. Одно это уже позволит пользователям избежать трудностей с навигацией. 

В любом случае, начать следует с того, чтобы проанализировать сайт на предмет его отображения на мобильных устройствах. Для этого можно использовать различные инструменты, например, Mobile-Friendly Test от Google. Если проверка показывает, что страница не оптимизирована, нужно доработать мобильную версию.

Нехватка качественного текста

Без хорошо написанного текстового контента крайне сложно попасть даже в ТОП-50 Google, кроме случаев, когда сайт, например, является галереей без какого-либо текста. Ориентируйтесь на то, что тексты должны насчитывать примерно 1 000 слов. Меньший или больший по объему тексты, как правило, менее информативны — либо в них недостаточно данных, либо переизбыток «воды».

Контент должен отвечать на основные вопросы пользователей или предлагать качественно иную точку зрения, чем другие нишевые сайты. Старайтесь поддерживать релевантность и актуальность на максимально возможном уровне.

Часто проблемы возникают со страницами, на которых находится менее 100 слов, независимо от плотности размещения ключевых запросов. Google может считать их малоинформативными, и не проиндексирует.

Санкции Google

Если страницы вашего сайта не индексируются, вполне вероятно, что на вас были наложены штрафные санкции, и вы не предприняли мер для исправления ошибки. Вы можете даже не подозревать, что страницы находятся под санкциями и на их индексацию наложен запрет.

Некоторые пользователи ошибочно предполагают, что простой перенос контента на другой сайт или удаление страниц могут изменить ситуацию. Необходимо будет либо создавать весь контент заново, либо полностью перестраивать домен с нуля. Google объясняет это тем, что наказание должно быть соразмерно преступлению и исправление должно занимать не меньше времени, чем те действия, которые повлекли за собой санкции.

Один из способов проверки сайта на наличие санкций — вбить его название в поисковую строку Google с пробелом вместо точки, например, «wikipedia org». Если в выдаче не будет главной страницы вашего сайта — скорее всего на него наложены санкции.

⌘⌘⌘

Начинающий оптимизатор не всегда может распознать, что именно препятствует работе роботов Google. Своевременная проверка вашего ресурса по ряду параметров поможет не отвлекаться на устранение проблем с индексацией и оптимизировать сайт с максимальной эффективностью.

Узнать больше о поисковом продвижении сайтов и эффективных методах получения выгодных позиций в выдаче Google, таких как линкбилдинг, можно у специалистов Links.Sape.