Тестер Robots.txt

Файл robots.txt оманливо легко читати та напрочуд легко заповнити помилково: один випадковий `Disallow: /` в невідповідній групі User-agent може тихо вилучити весь сайт з індексу, тоді як правило, яке на вигляд блокує сканера, може бути перевизначеним довшим, точнішим шаблоном в іншому місці файлу. Цей інструмент відтворює справжній алгоритм зіставлення, який використовують пошукові системи та AI-сканери — фактичний Robots Exclusion Protocol, формалізований у RFC 9309 і задокументований Google, — а не наближає його простим порядковим скануванням, тож вердикт, який ви тут бачите, — це вердикт, який би обчислив реальний сканер.

Вставте вміст вашого robots.txt, введіть URL-шлях, який хочете перевірити (наприклад, `/admin/` або `/blog/draft-post`), і оберіть сканера з вбудованого списку 20 реальних токенів user-agent. Цей список навмисно виходить за межі класичних — Googlebot, Bingbot і заглушки `*` — і включає нинішнє покоління AI-збирачів: GPTBot та OAI-SearchBot (OpenAI), ClaudeBot та anthropic-ai (Anthropic), Google-Extended (сигнал відмови від AI-навчання Google, окремий від пошукового сканера Googlebot), Applebot-Extended (еквівалентна відмова Apple), PerplexityBot, CCBot (Common Crawl, чий архів живить багато інших AI-моделей), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot та інші. Кожен токен супроводжується коротким чесним поясненням того, чим він є насправді.

Сам алгоритм точно відповідає специфікації: групи user-agent зіставляються без урахування регістру, при цьому точний або префіксний збіг токена продукту завжди переважає групу-заглушку `*`, а кілька блоків, що декларують один і той самий токен, об'єднуються, як це роблять реальні сканери. У межах обраної групи кожне правило Allow і Disallow перевіряється щодо шляху з використанням коректної семантики символів підстановки (`*` відповідає будь-якій послідовності, кінцевий `$` прив'язує до кінця шляху), і перемагає найдовший відповідний шаблон — при цьому Allow виграє будь-яку нічию проти Disallow рівної довжини, як задокументовано у власній реалізації robots.txt від Google.

Панель результатів не просто каже ALLOWED або BLOCKED — вона називає точний рядок і текст правила, що відповідальне за результат, тож ви можете одразу повернутися до свого файлу та виправити (або підтвердити) директиву, яка має значення. Це та деталь, яку пропускають більшість перевіряльників robots.txt, і саме вона становить різницю між здогадкою, чому сторінка не індексується, і точним знанням.