Индексация

Для управления индексацией сайтов поисковыми системами существует специальный файл с правилами – robots.txt. Это простой текстовый файл, расположенный в корневом каталоге сайта и содержащий в себе определенные инструкции для поисковых систем. Для редактирования этого файла можно воспользоваться любым текстовым редактором, если, конечно, ваш выбор лег не на CMS RUEN.

CMS RUEN дает возможность простого управления индексацией, без подключения по FTP, поиска необходимого файла robots.txt и его редактирования. Достаточно зайти в пункт Системного меню Индексация и все изменения внести там. Более того, CMS RUEN содержит ряд типовых правил, которые могут быть полезными, и их добавить в данный файл – проще простого. Необходимо всего лишь кликнуть по требуемому правилу и сохранить изменения.

Типовые правила robots.txt

Обозначение хоста сайта:
Host: exogens-ruen.ru

Обозначение наличия файла sitemap.xml (этот файл создаётся при обновлении списка страниц):
Sitemap: http://www.exogens-ruen.ru/sitemap.xml

Закрытие всего сайта от индексации:
User-agent: *
Disallow: /

Защита от индексации внутреннего механизма переадресации на другие сайты:
User-agent: *
Disallow: /http/
Disallow: /https/
Disallow: /go.php

Также можно использовать и другие правила. Ознакомиться с их более полным списком можно в инструкции Яндекса.