ТОП-8 самых распространенных ошибок, из-за которых возникают проблемы с индексированием

2 августа 2021

СОДЕРЖАНИЕ

Запрет индексирования в консоли самой CMS

Sitemap.xml

Неправильное использование тега noindex

Использование атрибутов none и noindex в мета-теге robots

Отсутствие ссылок на старую / новую версию сайта

Редиректы

Несколько заголовков H1

Игнорирование SEO при смене дизайна

Итак, продолжаем делать подборки из самых распространенных ошибок по чему-то там. В данном томе этим самым «чему-то там» является индексация сайта. Увы, но тут тоже предостаточно типичных ошибок, от которых седалище возгорается просто капец как.

Запрет индексирования в консоли самой CMS

Во многих CMS есть возможность запретить поисковым системам индексирование сайта. Функция хорошая, мы не спорим, поскольку индексировать сайт бессмысленно, если он еще не достроен, верно?

Вот только есть одна мелочь, которая может все испортить – нередко эту опцию просто забывают отключать, когда сайт уже готов. Результат – непонимание, почему сайт не индексируется вообще, внесение кучи поправок, проверка целостность robots.txt и sitemap.xml и правильности их составления, запуск контекстной рекламы, чтобы был хоть какой-то доход с сайта, и т.д.

А все потому, что в «чек-лист перед запуском сайта» нередко даже не занесен пункт о проверке наличия запрета в самой CMS. У нас этого пункта в чек-листе тоже нету, но зато есть пункт проверки robots.txt. Именно поэтому мы «консольным» запретом практически никогда не пользуемся, т.к. для нас проще закрыть сайт от индексирования путем прописывания в robots.txt «Disallow: /». На выходе получаем по сути то же самое – полное закрытие сайта от индексации. Но зато не заметить «Disallow: /» гораздо труднее, чем «консольный» запрет.

Sitemap.xml

Данный пункт можно условно разделить на 2 пункта – либо карта сайта отсутствует вообще, либо она есть, но сделана криво. Наиболее часто первую ошибку мы наблюдаем у тех, кто пытается продвинуть сайт своими силами. Если же сайтом занимается даже самое днищенское агентство, то сайтмап есть практически всегда.

А вот вторая ошибка наблюдается нами очень часто. Примерно в 80% случаев (когда карта вообще есть) карта сайта либо не содержит информацию о дате последнего обновления контента, либо не обновляется автоматически, либо не содержит информацию о приоритетах, либо содержит в себе неполный список страниц, подлежащих индексированию, либо любая комбинация из перечисленных выше «либо».

При проведении аудита мы всегда рекомендуем настраивать автоматическое генерирование карты сайта, чтобы не обновлять ее вручную. Но при этом мы прекрасно понимаем, что с огромной долей вероятности и «с легкой руки заказчика» эта задача будет отложена «в долгий ящик» и не факт, что до нее вообще дойдет дело.

Да, мы не спорим, поисковики могут индексировать сайт и без карты, НО… попробуйте без использования навигаторов добраться хотя в какой-нибудь условный поселок Днищенск, который находится в соседней области и на который не указывает ни один дорожный знак. Да, добраться-то Вы сможете, но сколько времени, нервов и топлива на это уйдет?

Итак, еще раз. Карта сайта должна:

  • присутствовать;
  • автоматически обновляться;
  • содержать информацию о дате и времени обновления;
  • содержать информацию по ВСЕМ документам, которые необходимо проиндексировать;
  • по каждому документу должен быть указан приоритет сканирования.

Неправильное использование тега noindex

Коротко: контент, заключенный между тегами <noindex> и </noindex> не индексируется. По крайней мере Яндексом. Так вот, уже не раз наблюдали такую картину, что <noindex> есть, а </noindex> отсутствует. Как Вы уже догадались, в этом случае от индексирования закрывается всё, что после <noindex>, в т.ч. и контент, который ДОЛЖЕН индексироваться.

Отчасти именно поэтому мы тег <noindex> не используем вообще.

Использование атрибутов none и noindex в мета-теге robots

Еще одна «классика жанра». Ситуация с атрибутом content="noindex" аналогична предыдущему пункту. Разница лишь в том, что тег <noindex> закрывает от индексирования только часть контента, а атрибут content="noindex" – всю страницу. Атрибут content="none" сообщает поисковикам, что страница без контента.

Сама же ошибка в использовании заключается в том, что none и noindex могут использоваться где попало, в т.ч. и на страницах, которые НУЖНО индексировать и которые НЕ закрыты в robots.txt. Уже не раз сталкивались с тем, что от индексирования закрыты те страницы, которые должны индексироваться. К слову, пару раз было даже такое, что из-за большого количества таких страниц из индекса ВЫЛЕТАЛ САЙТ ЦЕЛИКОМ.

Отсутствие ссылок на старую / новую версию сайта

Типичная ситуация – Вы запустили обновленную версию своего сайта, но при этом либо забыли на новом сайте оставить ссылку на старый (чтобы пользователи могли совершать покупки «по привычке»), либо оставили старый сайт, но забыли добавить ссылку на новый.

Как Вы уже догадались, ссылка должна быть в обоих случаях.

Другая типичная ситуация – Вы создали новый сайт (не вместо старого, а в дополнение к старому), но не оставили на него ссылку на старом. Увы, такое тоже встречается достаточно часто. Что еще хуже – заказчик такие моменты не оговаривает, а в ходе аудита такие «дополнительные» сайты, как правило, не выявляются.

Ну и бонус – иногда отсутствуют ссылки даже на подразделы сайта.

Редиректы

Здесь можно выделить несколько «подпроблем».

Начнем с того, что нередко используются неправильные коды ответа. Например, вместо 301 используется 302, а вместо 302 – 301. На первый взгляд – какая разница, ведь один фиг переадресовывает! А разница в том, что эти коды имеют разное значение. Если сайт отдает код ответа 301, то поисковики обновляют в своей базе УРЛ со старого на новый. Если сайт отдает код 302, то этого обновления уже не происходит. Есть и куча других кодов ответов – 303, 307 и т.д., и у каждого из них свое назначение.

Еще одна «подпроблема» - «цепной» редирект, т.е. происходит переадресация на адрес, с которого происходит переадресация на адрес, с которого переходит переадресация на адрес на конечную страницу. Вроде бы мелочь, но из-за этого может сильно увеличиться время загрузки страницы, а это плохо как для поисковиков, так и для пользователей. Решение – просканировать сайт и внести поправки таким образом, чтобы при клике по ссылке посетитель СРАЗУ был отправлен на правильную страницу.

Третья «подпроблема» – циклические редиректы. Здесь все аналогично предыдущей, за исключением одного момента – «конечной страницей» оказывается страница, с которой и началась переадресация. Т.е. с первой на вторую, со второй – на третью, с третей – на четвертую, с четвертой – на первую, и далее 1-2-3-4-1-2-3-4-1-2-3-4. Циклические редиректы не допускаются ни при каком раскладе.

Несколько заголовков H1

Вот здесь хотелось бы отметить, что данная проблема наиболее критична для Яндекса, тем более, что Яндекс нередко выводит H1-H6-подзаголовки в сниппет поисковой выдачи вместо заголовка Title.

Google же к постулату «1 документ = 1 H1-заголовок» относится не так строго. Google оценивает общую полезность документа, нередко «забивая» не только на количество заголовков H1, но и даже на наличие мета-тегов вообще. Так что, например, для Казахстана данная ошибка не так уж и критична.

А вот для России и других «соседних» стран, где Яндекс является основной поисковой системой, использование более 1 заголовка H1 крайне нежелательно – это может очень сильно «спутать карты» при индексировании сайта.

Ну а если Вы хотите, чтобы все заголовки и подзаголовки выглядели одинаково – поставьте программисту соответствующее ТЗ на настройку стилей оформления, а лишние H1-заголовки переделайте в H2-H6. Тогда и формальности будут соблюдены, и внешний вид сайта не пострадает.

Игнорирование SEO при смене дизайна

Пожалуй, это самая наиболее ожидаемая ошибка, если принято решение обновить дизайн сайта. Если Вы используете готовые шаблоны, то при смене темы оформления у Вас почти со 100% вероятностью хоть что-нибудь да слетит. Например, перестанут считываться теги Title, хотя они прописаны, но в новой теме они должны быть прописаны уже в другом месте, но вы этого не знали и никак не можете понять, в чем дело. Также может слететь внутренняя перелинковка, ссылки в подвале, меню, короче, всё что угодно.

И здесь только один вариант – сделать полную копию сайта, затем на нём правильно прикрутить новый дизайн, всё 20 раз перепроверить, и только потом, если не выявлено ошибок, обновлять дизайн на действующем сайте с повторным тщательным тестированием.



Подпишитесь на обновления
Лучшей оценкой нашего труда является ваша подписка на новые публикации. Мы очень постараемся быть интересными и обещаем не спамить.
 

(0)
Читайте также