Яндексом проиндексирована только главная страница

Если у вас нормальный блог, но есть подобная проблема, тогда читайте этот пост дальше.

Почему проиндексирована только главная страница в Яндексе?

Однажды обратился ко мне через почту автор одного блога с вопросом: почему Яндекс не индексирует мой сайт? Посмотрел, действительно в индексе только морда. Первая мысль – фильтр Яндекса. Ведь выпадение всех страниц сайта из индекса, кроме главной, это верный признак АГС. Но надо понять, что не понравилось поисковику.

Смотрю и толком ничего не пойму. Почему Яндекс проиндексировал только главную страницу? Контент на 100% уникальный. Ссылки не продаются и не покупаются. Аккуратный дизайн с минимумом рекламы, можно сказать, что ее вообще нет. Единственное, что мне не понравилось – все внешние ссылки были открытыми, причем несколько из них были сквозными и шли как «бесплатный бонус» к шаблону WordPress.

Надеюсь, то, что все левые ссылки, вшитые изначально в шаблоны Вордпресс, надо удалять, никому объяснять не надо? Когда-то я уже писал, как найти скрытые внешние ссылки в теме WordPress. Советую проверить свои шаблоны, если вы до сих пор этого не сделали.

Продолжаю. Посоветовал удалить все лишние внешние ссылки, а остальные закрыть от индексации с помощью rel=»nofollow» и посмотреть, будут ли изменения. Признаюсь, что тут я не доработал, надо было копнуть глубже.

Через время ничего не изменилось, по-прежнему в индексе была только главная страница блога. Конечно, Яндекс иногда сложно понять, но все же должна быть какая-то причина. Тем более что блог то хороший.

В очередном письме, блоггер мне сообщает, что ему посоветовали сделать анализ robots. txt, возможно, там что-то не в порядке. Честно сказать, я ранее глянул на этот файл и не заметил ничего особенного. Такой файл советовали устанавливать всем ученикам школы StartUp (кстати, сейчас рекомендуют устанавливать несколько измененный вариант). У меня тоже стоял точно такой же файл и проблем с индексацией не было, поэтому сначала я и упустил одну важную деталь.

При повторном просмотре я увидел ошибку – запрещающая директива Disallow: /*? *. Можно сказать, что это никакая не ошибка, так как такая директива прописана на большинстве блогов и не вызывает никаких проблем. Да, но только в том случае, если в адресах страниц не встречается знак «?».

Дело в том, что у этого блога не были настроены ЧПУ (человеко-понятные UPL) и все адреса постов, страниц и рубрик выглядели примерно так ваш сайт. ru/? p=123. То есть Яндекс тут совершенно не причем, ему просто запретили индексировать все страницы. Давайте проверим правильность моих слов.

Как сделать анализ robots. txt в панели Яндекс. Вебмастер.

Заходим в панель Яндекс. Вебмастер на вкладку «Анализ robots. txt» или просто по этой ссылке. Вводим в строку «Имя хоста» свой домен и нажимаем кнопку «Загрузить robots. txt с сайта«. Потом жмем «Добавить«.

Открывается поле для добавления адресов проверяемых страниц. Вводим нужные нам адреса, нажимаем «Проверить» и смотрим результат.

Как видите, что и требовалось доказать. Адрес запрещен директивой Disallow: /*? *. Как теперь это исправить?

Возможны два пути решения проблемы: сделать анализ файла robots. txt и удалить строчку Disallow: /*? * или другие, которые будут ставить запрет на индексацию нужных страниц; настроить постоянные ссылки (ЧПУ) на блоге.

Второй вариант предпочтительнее, но если ваш блог имеет очень много страниц проиндексированных в Google, то возможно их выпадение до переиндексации и потеря PR. Точно не скажу, так как не сталкивался с подобной проблемой. Если кто-то менял вид постоянных ссылок в Вордпресс, спустя некоторое время после создания блога, то расскажите о последствиях в комментариях к этой статье.

В заключении, хочу дать совет – сразу после установки движка WordPress, сделайте настройку ЧПУ и установите WP-плагин Cyr-To-Lat, который меняет все русские буквы на латинские при формировании постоянных ссылок. Это лучше сделать до публикации первых статей. Кроме приятного внешнего вида, такие ссылки будут выше ранжироваться в результатах поисковой выдачи, если в них будут встречаться поисковые запросы. Поисковики находят ключевые слова в URL и выделяют их.

После описанного выше случая, ко мне обратился еще один человек с подобной проблемой. После анализа его robots. txt была найдена такая же ошибка. Поэтому я решил написать эту статью, надеясь, что она будет полезна тем, у кого Яндексом проиндексирована только главная страница сайта.

В планах опубликовать пост о создании robots. txt, поэтому подписывайтесь на обновление блога kakbloger.ru. Хотя об этом много везде написано, тем не менее, никто не знает, как выглядит идеальный файл. Многие не уделяют ему достаточного внимания и тогда возможны проблемы с индексацией сайта, которые, на первый взгляд, могут быть похожи на попадание сайта под АГС. Поэтому сделайте анализ robots. txt.

А сейчас предлагаю посмотреть видеоролик о фильтрах Яндекса и до скорых встреч на страницах моего блога!