Индексация страниц сайта: проверка через поисковые системы и сервисы

Индексация страниц сайта: проверка через поисковые системы и сервисы

Наши услуги:

Продвижение и раскрутка сайтов (SEO)
Стоимость: от 299$ / в месяц
Сроки: от 3 месяцев
Продвижение интернет-магазина
Стоимость: от 599$ / в месяц
Сроки: от 6 месяцев
Продвижение лендинга
Стоимость: от 299$ / в месяц
Сроки: от 3 месяцев

Как проверить индексацию всего сайта, что нужно сделать, чтобы поисковые боты относились к сайту дружелюбно — обо всем этом расскажем сегодня в статье. А в конце пройдемся по требования к индексации и дадим конкретные рекомендации по настройкам ее параметров с помощью инструментов для вебмастеров.

Суть индексации: простым языком

Легче всего объяснить суть процесса на примере документов. Сайт — это документ или пакет документов. Google — это библиотека, в которой хранятся подобные документы. Каждому документу присваивается ярлыки, по которым его легко найти.

Перед тем, как попасть в архив, документы проверяются на соответствие перечню требований, определяется на тематику и сортируется в нужную категорию. Весь это процесс и называется индексацией.

Индексом называется база данных поисковой системы. Индексирование — добавление в эту базу сайтов. Поисковые роботы входят на сайт, анализируют контент, если он удовлетворяет требования — добавляют в поисковую базу. Далее сайту начисляются баллы в соответствии с факторами ранжирования, по который определяется его рейтинг в выдаче.

Алгоритмы отбора сайтов в индекс совершенствуются. Благодаря этому в поисковые базы попадают только качественные ресурсы (количество которых также растет).

Индексация страниц сайта: проверка через поисковые системы и сервисы

Раньше вебмастерам можно было создать контент, который будет просто удовлетворять технические требования поисковых ботов: наличие ключевых слов, заполненные метатеги, наличие картинок на странице (их качество было не важно).

Но с начала 2010-х поисковые роботы научились анализировать поведение пользователей. Для  того, чтобы сайт нравился поисковым ботам, простой технической SEO-оптимизации сайта стало недостаточно. Он должен быть “сайтом для людей”. Если специалист решил пойти по тонкому льду и намеренно переоптимизировать сайт, накрутить ссылки, то его проект рискует попасть под санкции: от пессимизации (понижения позиций в поисковой выдаче) до полного запрета индексации — страницы будут удалены из базы поисковой системы до тех пор, пока все допущенные ошибки не будут исправлены.

Требования Яндекса и Google для индекса страниц

Рассмотрим две поисковые сети, популярные в странах СНГ. Вся оптимизация в рунете ориентируется под работу с этими системами. Когда сайт только создан, то это — как составить документ. Он есть, но поисковая сеть о нем еще не знает.

Индексация страниц через партнерские ссылки

Если на ресурс ссылается уже имеющийся в индексе сайт, то поисковые роботы проиндексируют его предельно быстро. Логика в этом случае проста: если на сайт ссылаются, значит, он — потенциально полезный и интересный.

В качестве ресурса может выступить социальная сеть, но лучше, если ссылка будет идти с похожего по тематике веб-сайта с хорошей репутацией.

Работа с инструментами для вебмастеров

Обе популярные системы — Яндекс и Google — разработали специальные консоли для вебмастеров, через которые специалисты вносят техническую информацию по сайту, управлять его индексацией и просматривать другую поисковую статистику (запросы, клики, показы и т.д).

Чтобы сообщить поисковикам, что сайт существует — нужно просто зарегистрировать его в Google Seach Console и Яндекс.Вебмастер и вручную добавить свежую страницу сайта.

Не забудьте проверить, чтобы сайт был открыт для индексации в Robots.txt

Время, за которое поисковые роботы проведут сканирование страниц всего сайта, длится до двух недель. Но ресурсы, зарегистрированные через инструменты для вебмастеров индексируются быстрее.

Регистрация сайта не гарантирует, что его можно будет сразу найти по всем ключевым запросам, под который он был оптимизирован. Для его появления в выдаче потребуется дополнительное время, пока роботы будут анализировать наполнение ресурса. Чем больше информации нужно проанализировать — тем больше времени потребуется на полную индексацию.

Запасной путь

Дополнительный способ добавить сайт в индекс поисковых систем — ввести в строке поиска его название + URL (доменное имя). Благодаря этому система сработает на поиск информации в базе доменов, и там найдет ваш ресурс.

Такой способ лучше использовать в паре с одним из вышеописанных официально признанных способов индексации. Так вы еще раз обратите внимание поисковых роботов к ресурсу.

Есть также специальные автоматические сервисы с неизвестным результатом. Практика показывает, что такие сервисы просто размещают где-то ссылку на сайт, либо используют описанную выше команду.

Индексация страниц сайта: проверка через поисковые системы и сервисы

Проверка индексации сайта

Через поисковые системы

Если сайт добавлялся через Яндекс.Вебмастер или Google Search Console, то статус обработки ресурса можно посмотреть прямо в дашборде сервисов. Для этого  на вкладке «Индекс Google» выберите «Статус индексирования». Там будет указано:

  • последняя дата индексации страницы;
  • статус индексации;
  • рекомендации по улучшению и т.д.

Адресно проверить статус и информацию по каждой странице можно через специальные поисковые операторы. Основные команды для Google указаны на специальной странице в разделе справки поисковой системы. У Яндекса — своя система операторов. В справке поисковой системы есть даже отдельный блог для вебмастеров с полезными материалами по оптимизации сайта под русскую поисковую систему.

Так, оператор site:[url сайта] покажет, сколько всего страниц проиндексировано. Если выставит дополнительные фильтры вверху выдачи (в Google — “Инструменты поиска”) можно выявить дополнительную информацию: как давно сайт индексировался, что изменилось за последние дни или часы и т.д.

Проверка индекса через расширения и плагины

SEO-специалисты и вебмастеры пользуются довольно популярным инструментом RDS Bar. Расширение позволяет проверить конкретную страницу, закрыта ли она от индексации для какой-либо из систем, обработку поисковиком картинок с сайта.

Сервис имеет лучший функционал в браузере Mozilla Firefox.

Проверка через автоматические сервисы

Чтобы не вводить каждую страницу вручную в поисковую строку, можно воспользоваться специальными сервисами, позволяющими массово собирать данные по индексации страниц.

Популярный инструмент — Netpeak Spider, посредством которого можно просканировать весь ресурс. Кроме статуса индексации страницы инструмент выдает информацию по другим параметрам:

  • canonnical-адрес;
  • код ответа сервера;
  • заполнение метатегов;
  • перелинковку и т.д.

Вместе с данными сервис выдаст информацию по ошибкам и рекомендации по их устранению.

Как запретить индексацию страницы

Чтобы временно закрыть роботам доступ на ресурс, существует два способа:

  • пользоваться операторами Robots.txt. Замените всю информацию из файла на:

User-agent: *

Disallow: /

Эти команды скажут поисковым роботам, что сайт индексировать не нужно. Если в индексе были какие-то данные — после внесения этих изменений они постепенно удалятся из баз поисковых систем.

Если требуется запретить индексацию для конкретной системы, то вместо * в строке “User-agent” введите Yandex или Google — соответственно той системе, от которой нужно зарыть ресурс. 

  • через метатеги. Если стоит задача закрыть конкретные страницы — добавьте на каждую метатег name, и в его значение вставляем имя поискового робота Google или Yandex.

Если сайт на WordPress, то эту операцию автоматизирует использование плагина Yoast SEO.

Признакам хорошего тона является использование второго метода для закрытия страниц от роботов Гугла и Яндекса. На случай, если потребуется открыть сайт снова, то действие через Robots.txt потребует нового полного обхода сайта поисковыми роботами, что потребует времени. Закрытие через конкретные страницы позволит роботам выборочно закрыть ненужные страницы, не выбрасывая весь ресурс из базы.

Наши услуги:

Продвижение и раскрутка сайтов (SEO)
Стоимость: от 299$ / в месяц
Сроки: от 3 месяцев
Продвижение интернет-магазина
Стоимость: от 599$ / в месяц
Сроки: от 6 месяцев
Продвижение лендинга
Стоимость: от 299$ / в месяц
Сроки: от 3 месяцев

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Обсудить проект

Google Rating 5.0 Based on 16 reviews
Telegram Viber messenger email