AgentReadyBot

AgentReadyBot — бот сервиса AgentReady. Он проверяет, насколько сайт удобен для ИИ-агентов: программ, которые по просьбе человека сами ищут информацию, выбирают товары и заполняют формы. Проверку запускает человек, введя адрес сайта на главной странице.

Как бот себя называет

Во всех запросах — постоянный User-Agent:

AgentReadyBot/0.1 (+http://localhost:3000/bot)

Что бот делает

• Запрашивает главную страницу, robots.txt, llms.txt, sitemap.xml и стандартные адреса описаний API.
• Открывает сайт в браузере и проходит типовые сценарии: найти контакты, найти товар и цену, положить товар в корзину и дойти до оформления, найти форму заявки.

Чего бот не делает

• Не отправляет формы, не оформляет и не оплачивает заказы, не регистрируется и не входит в аккаунты.
• Не вводит никаких данных, кроме тестовых: имя «Test Agent», e-mail agent-test@example.invalid, телефон +10000000000, текст «Automated accessibility check, please ignore».
• Не решает капчи и не обходит защиту от ботов — если сайт его не пускает, это просто фиксируется в отчёте.
• Не переходит на другие сайты и не скачивает файлы.
• Не даёт согласие на отслеживание: баннер cookies закрывает только нейтральным вариантом — «отклонить» или «только необходимые».

Нагрузка

Не больше 60 запросов за одну проверку и не чаще одного запроса в секунду; вся проверка занимает не больше 5 минут. Один и тот же сайт проверяется не чаще раза в сутки — повторные запросы получают готовый отчёт.

Как запретить проверки

Добавьте в robots.txt вашего сайта:

User-agent: AgentReadyBot
Disallow: /

Бот читает robots.txt перед каждой проверкой. Если проверки запрещены, сайт не сканируется, а пользователь видит сообщение, что владелец сайта запретил проверки. Правила для User-agent: * бот учитывает в оценке, но проверку не прерывает: он действует по запросу человека, а не как поисковый краулер.

Как считается оценка — в описании методики.