Robots.txt-Tester
Fügen Sie Ihre robots.txt ein, wählen Sie einen Crawler — einschließlich GPTBot, ClaudeBot und Google-Extended — und erfahren Sie sofort, ob er einen bestimmten URL-Pfad abrufen darf, mit der exakten Regel und Zeilennummer, die den Ausschlag gab.
🔒 Wird vollständig in Ihrem Browser verarbeitet – nichts, was Sie hier eingeben, wird jemals hochgeladen.
Ergebnis
Eine robots.txt-Datei ist trügerisch einfach zu lesen und überraschend leicht falsch gemacht: Ein verlorenes `Disallow: /` in der falschen User-Agent-Gruppe kann stillschweigend eine ganze Website deindexieren, während eine Regel, die einen Crawler zu blockieren scheint, durch ein längeres, spezifischeres Muster an anderer Stelle der Datei ausgehebelt wird. Dieses Tool setzt den tatsächlichen Matching-Algorithmus um, den Suchmaschinen und KI-Crawler verwenden — das als RFC 9309 formalisierte und von Google dokumentierte De-facto-Robots-Exclusion-Protokoll —, statt ihn mit einem simplen zeilenweisen Scan zu approximieren. Das Ergebnis, das Sie hier sehen, ist das, was ein echter Crawler errechnen würde.
Kopieren Sie Ihre robots.txt, geben Sie den zu prüfenden URL-Pfad ein (z. B. `/admin/` oder `/blog/draft-post`) und wählen Sie einen Crawler aus der beiliegenden Liste mit 20 echten User-Agent-Tokens. Diese Liste geht bewusst über die Klassiker – Googlebot, Bingbot und den `*`-Fallback – hinaus und umfasst die aktuelle Generation von KI-Scrapern: GPTBot und OAI-SearchBot (OpenAI), ClaudeBot und anthropic-ai (Anthropic), Google-Extended (Googles Opt-out-Signal für das KI-Training, getrennt von Googlebots Such-Crawler), Applebot-Extended (Apples Pendant), PerplexityBot, CCBot (Common Crawl, dessen Archiv viele andere KI-Modelle speist), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot und weitere. Jeder Token erscheint mit einer kurzen, sachlichen Erklärung dessen, was er tatsächlich ist.
Der Algorithmus selbst folgt exakt der Spezifikation: User-Agent-Gruppen werden ohne Berücksichtigung von Groß-/Kleinschreibung abgeglichen, wobei ein exakter oder präfixbasierter Match des Product Tokens den `*`-Fallback stets übertrifft und mehrere Blöcke mit demselben Token so zusammengeführt werden, wie es echte Crawler tun. Innerhalb der jeweils gewinnenden Gruppe wird jede Allow- und Disallow-Regel mittels korrekter Wildcard-Semantik gegen den Pfad geprüft (`*` steht für eine beliebige Zeichenkette, ein abschließendes `$` verankert das Muster am Ende des Pfads). Am Ende gewinnt das längste passende Muster — bei Gleichstand hat ein Allow gegenüber einem Disallow gleicher Länge Vorrang, genau wie von Googles eigener robots.txt-Implementierung dokumentiert.
Der Ergebnisbereich zeigt nicht einfach nur ERLAUBT oder BLOCKIERT an, sondern benennt die exakte Zeile und den Regeltext, die dafür verantwortlich sind. So können Sie direkt in Ihre Datei gehen und die entscheidende Anweisung korrigieren (oder bestätigen). Dieses Detail lassen die meisten robots.txt-Checker aus — und es macht den Unterschied zwischen Raten, warum eine Seite nicht gecrawlt wird, und dem Wissen, dass es so ist.