Управление индексацией

Для управление индексацией сайта поисковыми системами используется файл «robots.txt». Для упрощения работы с сайтом, в CMS встроен редактор файла «robots.txt», содержащий в себя некоторые инструкции для работы с поисковыми системами. Таким образом теперь практически все действия с сайтом можно выполнять из CMS, не прибегая к FTP и пр.

Для редактирования содержимого «robots.txt» необходимо зайти в настройки сайта:

Будьте внимательны и проверяйте работу «robots.txt» через тот же Яндекс.Вебмастер, потому что одним неловким движением можно закрыть от индексации весь сайт и таким образом свести практически всю работу по продвижению сайта к нулю.

Защита от сканеров

Дополнительно управлять индексацией в некоторой мере можно посредством защиты против сканеров, которая не полагается на корректную работу поисковых систем в плане учета инструкций robots.txt, а самостоятельно жёстко перекрывает выдачу информации тем сервисам, которым в настройках запрещено просматривать сайт.