Существует несколько способов помочь роботам поисковых систем оценить как можно большее количество страниц сайта и даже ускорить этот процесс. Эффективность методов отличается, поэтому в статье разберем, что нужно делать непременно, и каких технологий лучше избегать.
Подготовка сайта к индексации
Прежде чем приманивать поискового робота тем или иным способом, нужно подготовить сайт к его приходу. Для этого в файле robots.txt следует прописать правила индексации, установленные для данного сайта. Главные директивы таковы:
- Disallow указывает, какие страницы или разделы индексировать не нужно (служебные разделы, страницы с личной информацией пользователей и т.д.);
- Crawl Delay устанавливает интервал обращения робота к серверу для снижения нагрузки (актуально для сайтов на нестабильных хостингах);
- Clean Param нужен для сайтов с динамически изменяющимися url страниц, например, использующих идентификаторы сессий; роботу нужно указать, что индексировать каждый url не следует;
- Host указывает, какой сайт является главным зеркалом.
Если все настроено правильно, поисковый робот Яндекса обнаружит только предназначенные для него страницы. А значит, индексация пройдет быстрее. К сожалению, robots.txt не имеет значения для Google, поэтому от его роботов контент надо прятать, указывая в мета-теге robots значения noindex и nofollow для атрибута content ().
Далее следует проверить наличие дублей страниц и удалить или пометить их атрибутом rel= «canonical». Это нужно для того, чтобы робот индексировал только одну страницу, не обращая внимания на ее «клоны». Конечно, лучше дубли удалять, но если это невозможно, на помощь придет еще и редирект 301.
И, наконец, в карте сайта (sitemap.html и/или sitemap.xml) следует показать все страницы, открытые для индексации. Карту можно поместить в файл robots.txt.
Предстартовая проверка
Яндекс и Google дают возможность проверить корректность заполнения файлов robots.txt (Яндекс. Вебмастер), убедиться в наличии sitemap и проверить количество проиндексированных на данный момент страниц. Этими инструментами нужно пользоваться, чтобы контролировать процесс знакомства поисковиков с сайтом. Если все в порядке, остается только ждать прихода поискового робота. Посмотрим, как можно приблизить это событие.
Ссылки, каталоги и add url
Новый сайт, разумеется, нужно зарегистрировать в сервисах Яндекса и Google. Таким способом владелец сайта показывает, что на просторах сети появился новый ресурс, на который стоит обратить внимание. Спустя 1-2 недели поисковики проиндексируют, скорее всего, только часть страниц, но начало будет положено.
Увеличить число проиндексированных страниц и ускорить приход робота на новый сайт можно, разместив ссылки на качественных тематических ресурсах. Если роботы поисковиков регулярно посещают выбранный сайт, они заметят новую ссылку. Помогает и распространение контента со ссылкой на сайт в социальных сетях. Но здесь нужно быть осторожным: закупка ссылок в свое время стала настольно популярным способом ускорения индексации, что Яндекс начал оценивать качество аккаунтов, поделившихся ссылками. Поэтому использовать биржи аккаунтов не рекомендуется.
Добавление сайта во все существующие каталоги давно стало методом не только бесполезным, но зачастую даже вредным. Поисковики тщательно следят за качеством ссылок, а списки каталогов для автоматического «прогона» оставляют желать много лучшего.
Можно попробовать добавить сайт в каталоги Яндекса и Google (Яндекс. Каталог, DMOZ). Но поисковые системы долго проверяют каждый сайт, поэтому ожидать немедленного эффекта не стоит. Этот способ лучше рассматривать в комплексе работ по продвижению сайта.
Добавлять или нет адреса новых страниц в add url (аддурилки), вопрос открытый. С одной стороны, это не всегда напрямую влияет на скорость индексации, а Google и вовсе проигнорирует страницу, url которой он уже «видел». С другой, вреда от этого метода влияния на скорость индексации нет, так что как дополнительный инструмент add url лишним не будет.
Социальные сети и тематические ресурсы
Классический метод привлечения внимания роботов и людей эффективен и будет работать еще долго. Разумеется, площадки должны быть вызывающими доверие, а ссылки – максимально похожими на естественные (подробнее о работе с такими ссылками рассказано здесь: http://promoteh.ru/articles/_aview_b180).
Социальные сети не только помогут ускорить индексацию, но и привлекут новый трафик, поэтому анонсы публикаций в частности, и методы SMM вообще, в конечном счете, могут сделать сайт часто посещаемым и людьми, и роботами.
Ping-сервисы
Поисковые системы и сами предлагают такие инструменты для ускорения индексации, но можно воспользоваться дополнительными сервисами. Например, у сайтов на WordPress такая функция установлена по умолчанию, нужно только указать в настройках нужные сервисы. Лучше ограничиться самыми крупными от Яндекс и Google и, при необходимости, тематическими.
Для сайтов на других CMS можно использовать онлайн-сервисы, но к списку адресов и частоте пингов нужно относиться крайне внимательно, чтобы не попасть под санкции поисковиков за спам.
Сервисы ускорения индексации и «ловцы ботов»
Способы автоматизировать привлечение поисковых роботов ищутся давно, правда, успешной деятельности в этом направлении пока не наблюдается. На сегодняшний день сервисы, действительно работающие и при этом не нарушающие правила поисковиков, так и не встречаются.
В заключение
В большинстве случаев для ускорения индексации новых страниц достаточно добавить новый url в соответствующих сервисах Яндекса и Google и немного подождать. Если сайт технически подготовлен к приходу робота, а хостинг работает без сбоев, со временем индексация будет проводиться все быстрее и быстрее. А размещение и распространение контента должно вестись в первую очередь для людей. Ведь сам факт индексации еще не означает получения высоких позиций в выдаче.
