Robots.txt testētājs

Fails robots.txt ir maldinoši vienkārši lasāms un pārsteidzoši viegli kļūdīties: nepareizajā User-agent grupā esošais 'Disallow: /' var klusi deindeksēt visu vietni, savukārt kārtula, kas izskatās tā, it kā tā bloķē rāpuļprogrammu, var tikt ignorēta ar garāku, konkrētāku modeli citur failā. Šis rīks no jauna ievieš faktisko atbilstības algoritmu, ko izmanto meklētājprogrammas un mākslīgā intelekta rāpuļprogrammas — de facto robotu izslēgšanas protokols, kas formalizēts RFC 9309 un dokumentēts Google — tā vietā, lai to tuvinātu ar vienkāršu skenēšanu pa rindiņām, tāpēc šeit redzamais spriedums ir īsts rāpuļprogrammas spriedums.

Ielīmējiet savu robots.txt saturu, ierakstiet URL ceļu, kuru vēlaties pārbaudīt (piemēram, `/admin/` vai `/blog/draft-post`) un izvēlieties rāpuļprogrammu no 20 īstu lietotāja aģenta pilnvaru komplekta saraksta. Šis saraksts apzināti pārsniedz klasiskos modeļus — Googlebot, Bingbot un “*” atkāpšanos, iekļaujot pašreizējās paaudzes mākslīgā intelekta skrēperus: GPTBot un OAI-SearchBot (OpenAI), ClaudeBot un anthropic-ai (Anthropic), Google-Extended (Google AI apmācības līdzvērtīgs atteikšanās signāls), robotu atteikšanās signālu, atsevišķi no Crwten Applerobotiem, robotiem. PerplexityBot, CCBot (Common Crawl, kura arhīvs baro daudzus citus AI modeļus), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot un citi. Katrs žetons tiek piegādāts ar īsu, godīgu skaidrojumu par to, kas tas patiesībā ir.

Pats algoritms precīzi ievēro specifikāciju: lietotāja aģentu grupas tiek saskaņotas, neņemot vērā reģistrjutīgos datus, precīzai vai prefiksa atbilstībai produkta pilnvarā vienmēr pārspējot atkāpšanās grupu “*”, un vairāki bloki, kas deklarē vienu un to pašu pilnvaru, tiek sapludināti, kā to dara īstas rāpuļprogrammas. Uzvarējušajā grupā katrs Atļaut un Neatļaut kārtula tiek pārbaudīta pret ceļu, izmantojot pareizu aizstājējzīmju semantiku (`*` atbilst jebkurai secībai, beigu `$` enkurojas ceļa beigās), un uzvar garākā atbilstošā shēma — ar Atļaut uzvarēt jebkuru neizšķirtu pret vienāda garuma Neatļaut, tieši tā, kā to dokumentē paša Google roboti.

Rezultātu panelī nav tikai rakstīts ATĻAUTS vai BLOĶĒTS — tajā ir norādīta precīza atbildīgā rinda un kārtulas teksts, lai jūs varētu tieši atgriezties savā failā un labot (vai apstiprināt) svarīgo direktīvu. Tā ir detaļa, ko lielākā daļa robots.txt pārbaudītāju izlaiž, un tā ir atšķirība starp uzminēšanu, kāpēc lapa netiek pārmeklēta, un to, ka zina, vai tā ir noteikta.