Робот RootRexAudit

Что это за робот

RootRexAudit — робот сервиса проверки сайтов на SEO-ошибки компании RootRex. Он приходит на сайт, когда кто-то запускает проверку этого сайта: смотрит то же, что видит поисковый робот, и составляет отчёт с найденными проблемами.

В заголовке запроса робот представляется так:

Mozilla/5.0 (compatible; RootRexAudit/1.0; +https://r-rex.ru/seo/check/bot/)

Что он делает на сайте

• Читает только публичные страницы: не отправляет формы, не входит в личные кабинеты, не передаёт cookie и пароли.
• Запрашивает проверяемую страницу, файлы robots.txt и sitemap.xml, варианты адреса главной (http и https, с www и без, index.html и index.php), один заведомо несуществующий адрес — чтобы проверить ответ 404 — и адрес из canonical.
• Отправляет не больше 2 запросов в секунду к одному сайту и читает не больше 5 МБ с одной страницы.
• Скорость страницы измеряет не сам робот, а сервис Google PageSpeed Insights — его запросы приходят с серверов Google.

Как запретить доступ

Робот соблюдает robots.txt. Если проверяемая страница закрыта для него, проверка не начинается, а человек, который её запустил, видит, что владелец сайта запретил доступ роботам. Чтобы закрыть сайт только от RootRexAudit, добавьте в robots.txt:

User-agent: RootRexAudit
Disallow: /

Правила для всех роботов (User-agent: *) он тоже учитывает, если отдельной группы для RootRexAudit нет.

Связаться с нами

Если робот мешает работе сайта или вы хотите, чтобы ваш сайт не проверялся, напишите на info@r-rex.ru — укажите адрес сайта и время запросов.