⭐ 0
🔍
Tekst Slika PDF i dokumenti Audio Glazba Elektronika Vrijeme Komunalije Validatori Ezoterija Igre

Robots.txt Tester

Zalijepite datoteku robots.txt, odaberite robota za indeksiranje — uključujući GPTBot, ClaudeBot i Google-Extended — i odmah vidite može li dohvatiti zadani URL put, s točnim pravilom i brojem retka koji su o tome odlučili.

🔒 U potpunosti se obrađuje u vašem pregledniku — ništa što ovdje unesete nikada se ne učitava.

Obrada... 0%
Raščlanjivanje datoteke robots.txt
Uspoređivanje pravila robota za indeksiranje
Gotovo

Rezultat

Datoteka robots.txt varljivo je jednostavna za čitanje, a iznenađujuće lako se može pogriješiti: zalutali `Disallow: /` u pogrešnoj grupi User-agent može tiho deindeksirati cijelo web-mjesto, dok pravilo koje izgleda kao da blokira robota može biti nadjačano duljim, specifičnijim uzorkom na drugom mjestu u datoteci. Ovaj alat ponovno implementira stvarni algoritam sparivanja koji koriste tražilice i AI roboti za indeksiranje — de-facto Robots Exclusion Protocol formaliziran u RFC 9309 i dokumentiran od Googlea — umjesto da ga aproksimira jednostavnim skeniranjem redak po redak, tako da je presuda koju ovdje vidite presuda koju bi izračunao stvarni robot.

Zalijepite sadržaj vaše datoteke robots.txt, upišite URL put koji želite provjeriti (npr. `/admin/` ili `/blog/draft-post`) i odaberite robota za indeksiranje s uključenog popisa od 20 stvarnih tokena korisničkih agenata. Taj popis namjerno nadilazi klasike — Googlebot, Bingbot i `*` zamjensku grupu — kako bi uključio trenutačnu generaciju AI strugača: GPTBot i OAI-SearchBot (OpenAI), ClaudeBot i anthropic-ai (Anthropic), Google-Extended (Googleov signal za odjavu od AI treniranja, odvojen od Googlebotovog robota za pretraživanje), Applebot-Extended (Appleov ekvivalent odjave), PerplexityBot, CCBot (Common Crawl, čija arhiva hrani mnoge druge AI modele), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot i druge. Svaki token dolazi s kratkim, iskrenim objašnjenjem što on zapravo jest.

Sam algoritam precizno slijedi specifikaciju: grupe korisničkih agenata sparuju se neosjetljivo na velika i mala slova, pri čemu točno podudaranje ili podudaranje prefiksa tokena proizvoda uvijek pobjeđuje `*` zamjensku grupu, a više blokova koji deklariraju isti token spajaju se kao što to rade stvarni roboti. Unutar pobjedničke grupe, svako Allow i Disallow pravilo provjerava se prema putanji koristeći ispravnu semantiku zamjenskih znakova (`*` odgovara bilo kojem nizu, `$` na kraju sidri kraj putanje), a pobjeđuje najdulji podudarni uzorak — pri čemu Allow pobjeđuje u slučaju izjednačenja s Disallow iste duljine, točno kako je dokumentirano u Googleovoj vlastitoj implementaciji robots.txt.

Panel s rezultatima ne kaže samo DOPUŠTENO ili BLOKIRANO — imenuje točan redak i tekst pravila koji su odgovorni, tako da se možete izravno vratiti u svoju datoteku i ispraviti (ili potvrditi) direktivu koja je važna. To je detalj koji većina provjerivača robots.txt preskače, i to je razlika između nagađanja zašto se stranica ne indeksira i sigurnog znanja.

Uživate u ovom alatu? Mislite da je ovaj proizvod koristan? Vidite potencijal u njemu i želite ga podržati?

🛡️
Izvršava se u pregledniku

Vaše datoteke i unosi nikad ne napuštaju ovaj uređaj. Obrada se odvija potpuno izvan mreže. 100% sigurno.

Prihvaćeni formati i pravila

  • Ponovno implementira stvarni algoritam datoteke robots.txt (Googleov REP / RFC 9309): grupe korisničkih agenata neosjetljive na velika i mala slova, uređena Allow/Disallow pravila, zamjenski znakovi `*` i `$` u putanjama.
  • Bira najspecifičniju podudarnu grupu korisničkog agenta za robota kojeg odaberete — točno podudaranje ili podudaranje prefiksa tokena proizvoda uvijek ima prednost pred `*` zamjenskom grupom.
  • Prikazuje točno koji je redak odlučio o presudi, npr. „Blokirano zbog retka 4: `Disallow: /admin`”, plus referentnu tablicu s objašnjenjem što je svaki uključeni token robota za indeksiranje.

Ključne prednosti

✓ Potpuno izvanmrežno: vaša datoteka robots.txt nikad ne napušta preglednik — ništa se ne učitava niti dohvaća s vašeg aktivnog web-mjesta.
✓ Stvarno REP sparivanje iz prakse: ispravan odabir grupe korisničkog agenta, pravilo najduljeg podudarnog uzorka, podrška za zamjenske znakove i sidro na kraju, a ne naivno skeniranje redaka.
✓ Uključena tablica s 20 stvarnih tokena robota za indeksiranje, uključujući trenutačni val AI strugača, tako da možete na brzinu provjeriti odjave od AI treniranja.

Slučajevi upotrebe

  • • Provjerite blokira li vaša datoteka robots.txt zaista GPTBot, Google-Extended ili ClaudeBot na određenoj putanji prije nego što pretpostavite da direktiva za odjavu od treniranja AI-ja radi.
  • • Otkrijte zašto se stranica ne indeksira tako što ćete pronaći točnu Disallow direktivu (i njezin broj retka) koja odgovara grupi korisničkih agenata crawl-​era.
  • • Provjerite ispravnost predloška robots.txt preuzetog iz zadanih postavki CMS-a ili s druge stranice prije nego što ga primijenite, tako da ga testirate na nekolicini vlastitih stvarnih URL putanja.