Robots.txt

Robots, Роботс

Текстовый файл, находящегося в корне сайта, содержащий в себе набор правил (директив) для ограничения доступа роботов к содержимому на сервере согласно стандарту исключений. Действие файла распространяется только на основной домен.

Обсудить проект