Страницы сайта могут появляться в поиске, пропадать из индекса и возвращаться обратно. Как разобраться в происходящем и зачем это делать, разберем в статье.
Как это работает?
Если упрощенно, процесс индексирования таков: робот поисковой системы сканирует все страницы сайта, определяет их содержание, выбирает полезные для пользователей и вносит их в специальную базу – индекс. При этом факт сканирования не означает, что страница попадет в индекс, поскольку робот может оценить ее как недостойную.
Также попадание в индекс не значит, что страница получит высокие позиции при ранжировании. Дело в том, что робот, условно говоря, сохраняет в памяти адрес и содержание страницы. А когда пользователь вводит запрос в поисковую систему, алгоритм выстраивает все сохраненное в определенном порядке по релевантности. То есть конкретная проиндексированная страница сравнивается с аналогичными, и ей присваивается место в выдаче в соответствии с ее преимуществами и недостатками.
Но ясно, что у не проиндексированных страниц шансов на попадание в результаты поиска нет совсем. Поэтому важно помочь роботу понять и по достоинству оценить назначение и содержание страницы. Для этого используется:
- грамотное заполнение мета-тегов и микроразметка, помогающие роботу сориентироваться на странице;
- структурирование контента с помощью заголовков, абзацев и списков, упрощающее восприятие текста для робота (и для людей, конечно, тоже);
- указания, какие страницы нужно индексировать, а на какие не следует тратить время, чтобы сэкономить его для других страниц и не отдавать в индекс служебную и другую, не нужную пользователям, информацию.
При грамотной оптимизации нужные страницы попадут в индекс, если робот сочтет их полезными. Но, повторим, это не означает автоматического попадания на высокие позиции в выдаче. Это просто шанс там оказаться, но без него надеяться не на что.
Как узнать количество проиндексированных страниц?
Самый удобный способ – воспользоваться инструментами в «кабинетах веб-мастеров» Яндекса и Google (Яндекс.Вебмастер и Google Search Console). Здесь можно увидеть общее количество находящихся в индексе страниц или получить таблицу со всеми URL и их текущими статусами. Дальше остается только проанализировать результаты и, при необходимости, исправить ошибки, мешающие индексированию.
Есть и другие способы проверить состояние страниц:
- вручную, введя в поиске соответствующий запрос, заголовок или адрес;
- с помощью оператора site:domen.com, где «domen.com» – это название проверяемого сайта; запрос вводится в поисковую строку, результат покажет количество страниц в индексе;
- с помощью специальных сервисов или плагинов для SEO-анализа сайта.
Но данные о количестве страниц в индексе малоинформативны, важно знать, почему остальные страницы не попали в индекс или пропали из него. А такую информацию удобнее всего получить от самих Яндекса и Google в уже упомянутых «кабинетах веб-мастеров».
Почему страница не в индексе?
В первую очередь, следует помнить, что на сканирование и, соответственно, индексацию нужно время: роботы не заходят на каждый сайт ежедневно, если только это не новостное издание с постоянными обновлениями публикаций. Сайтов множество, и время роботов распределяется между ними, кроме того, на каждый сайт отпускается определенный краулинговый бюджет (время, которое робот может потратить на оценку). Этот бюджет можно сэкономить, если не заставлять роботов индексировать все подряд. Также для ускорения процесса можно пригласить робота на сайт, отправив ссылки на нужные страницы через «кабинеты веб-мастеров».
Другое дело, если страницы упорно не попадают в индекс или пропали из него. Здесь может быть несколько причин, и, как правило, это нарушения правил поисковых систем:
- неуникальный контент;
- неестественные ссылки;
- дублированные страницы самого сайта без указания, какую из них считать основной и отправлять в индекс;
- спам в мета-тегах;
- одинаковые мета-теги для всех страниц;
- размещение скрытого текста (исключение – правильно оформленный платный или доступный только зарегистрированным посетителям контент, на который указывает код страницы).
Также проблемы с индексированием появляются, когда:
- на сервере произошел сбой во время проверки сайта роботом поисковика;
- робот обнаружил неверные редиректы и страницы 404;
- в файле robots.txt выставлен запрет на индексацию сайта или определенных страниц;
- запрет на индексацию установлен для самой страницы;
- есть ошибки в Sitemap.xml (карта сайта);
- сайт взломан, и хакеры сделали его подозрительным с точки зрения поисковиков, например, разместили скрытый спам, настроили перенаправление на чужой сайт, проставили много спамных ссылок.
Последний вариант – самый неприятный, потому что поисковым системам все равно, кто разместил вредный контент и ссылки. Остальные ошибки относятся к техническим и устраняются специалистами. После исправления всех недочетов следует отправить сайт на повторную индексацию, сообщив, что ошибки устранены.
Как удалить лишнее?
Итак, чтобы страницы попали в индекс, нужно их правильно оптимизировать и для ускорения процесса через панель веб-мастеров добавить новые URL сайта или сообщить о сделанных изменениях.
Но случается, что необходимо удалить некоторые страницы из поиска. Для этого поисковые системы предлагают такие варианты:
- пометка страницы тегом noindex в коде или в файле robots.txt (роботы все равно будут сканировать такие страницы, но из поиска они рано или поздно пропадут);
- настройка сервера на отдачу ответа 404, 403 или 410 (робот обнаружит его при посещении сайта, через некоторое время проверит статус страницы еще раз и при отсутствии изменений удалит из индекса);
- удаление URL через «кабинеты веб-мастеров» (инструкции у Яндекса и Google различаются);
- настройка перенаправления с неактуальной страницы на новую;
- указание на одну из дублирующихся страниц тегом rel=canonical, чтобы индексировалась только она.
Выбор способа зависит от ситуации: например, нужно ли потом вернуть страницу в индекс или идет глобальная перестройка всего сайта. И нужно учесть, что страницы не пропадут из поиска моментально, роботам нужно время, чтобы обнаружить изменения.
В заключение
Управлять индексированием страниц сайта до определенной степени можно, и это нужно делать, чтобы рассчитывать на позиции в поиске. Ведь все это делается для того, чтобы пользователи находили ответы на свои вопросы, а владельцы сайтов получали ту долю внимания аудитории, которой достойно их предложение.
