Поисковый бот

Поисковый робот

Программа, компонент поисковой системы, задачей которого является поиск и сканирование страниц на предмет информации, размещенной на них для дальнейшего добавления в поисковый индекс.

Принцип работы поискового бота заключается в сканировании страницы и сохранении, размещенной на ней информации, в базу данных поисковой системы, после чего робот переходит по ссылкам на другие страницы.

Каждая поисковая система обладает своими поисковыми ботами, которые в свою очередь могут делиться на роботов, разделенных по назначению. Так например, поисковая система Google обладает большим количеством ботов, одними из которых являются:

  • Googlebot News — сканирует новостные порталы;
  • Googlebot Images — отвечает за поиск по изображениям;
  • Google Mobile — индексирует мобильный контент.

Для упрощения и ускорения процедуры индексации сайта, поисковые системы дают возможность добавить сайт через специальные сервисы — Google Webmaster Tools и Яндекс.Вебмастер, а также добавить файл sitemap.xmlxml-карту сайта с перечнем всех страниц.

Поведение роботов невозможно контролировать, но можно частично управлять обходом сайта при помощи файла robots.txt.

Обсудить проект

Google Rating 5.0 Based on 16 reviews
Telegram Viber messenger email