Robots.txt Test Aracı

Bir robots.txt dosyasının okunması aldatıcı derecede basittir ve yanlış anlaşılması şaşırtıcı derecede kolaydır: Yanlış Kullanıcı aracısı grubu altındaki başıboş bir "Disallow: /", tüm sitenin dizindeki dizini sessizce kaldırabilir; bir tarayıcıyı engelliyormuş gibi görünen bir kural, dosyanın başka bir yerinde daha uzun, daha spesifik bir kalıp tarafından geçersiz kılınabilir. Bu araç, basit bir satır satır taramayla yaklaşmak yerine, arama motorları ve AI tarayıcılarının kullandığı gerçek eşleştirme algoritmasını (RFC 9309'da resmileştirilen ve Google tarafından belgelenen fiili Robot Hariç Tutma Protokolü) yeniden uygular; dolayısıyla burada gördüğünüz karar, gerçek bir tarayıcının hesaplayacağı karardır.

robots.txt içeriğinizi yapıştırın, kontrol etmek istediğiniz URL yolunu yazın ('/admin/' veya '/blog/draft-post' gibi) ve 20 gerçek kullanıcı aracısı belirteci içeren paket listeden bir tarayıcı seçin. Bu liste kasıtlı olarak klasiklerin (Googlebot, Bingbot ve "*" geri dönüşü) ötesine geçerek mevcut nesil AI kazıyıcıları da içeriyor: GPTBot ve OAI-SearchBot (OpenAI), ClaudeBot ve antropik-ai (Antropik), Google-Extulated (Google'ın AI eğitimi devre dışı bırakma sinyali, Googlebot'un arama tarayıcısından ayrı), Applebot-Extulated (Apple'ın eşdeğer devre dışı bırakma), PerplexityBot, CCBot (arşivi diğer birçok AI modelini besleyen Common Crawl), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot ve daha fazlası. Her token, gerçekte ne olduğuna dair kısa ve dürüst bir açıklamayla birlikte gönderilir.

Algoritmanın kendisi spesifikasyonu tam olarak takip eder: kullanıcı aracısı grupları büyük/küçük harfe duyarlı olmayacak şekilde eşleştirilir, ürün belirtecindeki tam veya önek eşleşmesi her zaman "*" geri dönüş grubunu yener ve aynı belirteci bildiren birden fazla blok, gerçek tarayıcıların yaptığı gibi birleştirilir. Kazanan grupta, her İzin Ver ve İzin Verme kuralı, uygun joker karakter semantiği kullanılarak yola göre kontrol edilir ("*" herhangi bir diziyle eşleşir, takip eden "$" yolun sonuna bağlanır) ve en uzun eşleşen model kazanır - tam olarak Google'ın kendi robots.txt uygulamasında belgelendiği gibi, eşit uzunluktaki bir İzin Verme'ye karşı herhangi bir beraberliği kazanan İzin Ver ile.

Sonuç paneli yalnızca İZİN VERİLDİ veya ENGELLENDİ demekle kalmaz; sorumlu satırı ve kural metnini tam olarak adlandırır, böylece doğrudan dosyanıza geri dönebilir ve önemli olan yönergeyi düzeltebilir (veya onaylayabilirsiniz). Bu, çoğu robots.txt denetleyicisinin atladığı ayrıntıdır ve bir sayfanın neden taranmadığını tahmin etmekle kesin olarak bilmek arasındaki farktır.