Robots.txt

Robots, Роботс

Текстовый файл, находящегося в корне сайта, содержащий в себе набор правил (директив) для ограничения доступа роботов к содержимому на сервере согласно стандарту исключений. Действие файла распространяется только на основной домен.

Обсудить проект

Google Rating 5.0 Based on 16 reviews
Telegram Viber messenger email