Robots.txt-Tester

Eine robots.txt-Datei ist täuschend einfach zu lesen und überraschend leicht zu verwechseln: Ein verirrtes „Disallow: /“ unter der falschen User-Agent-Gruppe kann stillschweigend eine gesamte Website deindizieren, während eine Regel, die so aussieht, als würde sie einen Crawler blockieren, durch ein längeres, spezifischeres Muster an anderer Stelle in der Datei außer Kraft gesetzt werden kann. Dieses Tool implementiert den tatsächlichen Matching-Algorithmus, den Suchmaschinen und KI-Crawler verwenden – das De-facto-Robots-Exclusion-Protokoll, das in RFC 9309 formalisiert und von Google dokumentiert ist – neu, anstatt es durch einen einfachen zeilenweisen Scan anzunähern. Das hier angezeigte Ergebnis ist also das Urteil, das ein echter Crawler berechnen würde.

Fügen Sie Ihren robots.txt-Inhalt ein, geben Sie den URL-Pfad ein, den Sie überprüfen möchten (z. B. „/admin/“ oder „/blog/draft-post“) und wählen Sie einen Crawler aus einer gebündelten Liste von 20 echten User-Agent-Tokens aus. Diese Liste geht bewusst über die Klassiker – Googlebot, Bingbot und das „*“-Fallback – hinaus und umfasst auch die aktuelle Generation von KI-Scrapern: GPTBot und OAI-SearchBot (OpenAI), ClaudeBot und anthropic-ai (Anthropic), Google-Extended (Googles KI-Training-Opt-out-Signal, getrennt vom Googlebot-Suchcrawler), Applebot-Extended (das entsprechende Opt-out von Apple), PerplexityBot, CCBot (Common Crawl, dessen Archiv viele andere KI-Modelle speist), Bytespider (ByteDance), Meta-ExternalAgent, Amazonbot und mehr. Jedem Token liegt eine kurze, ehrliche Erklärung bei, was es eigentlich ist.

Der Algorithmus selbst folgt genau der Spezifikation: Benutzer-Agent-Gruppen werden ohne Berücksichtigung der Groß- und Kleinschreibung abgeglichen, wobei eine exakte oder Präfix-Übereinstimmung auf dem Produkt-Token immer die „*“-Fallback-Gruppe übertrifft, und mehrere Blöcke, die dasselbe Token deklarieren, werden zusammengeführt, wie es echte Crawler tun. Innerhalb der Gewinnergruppe wird jede Allow- und Disallow-Regel anhand der richtigen Wildcard-Semantik mit dem Pfad verglichen („*“ stimmt mit einer beliebigen Sequenz überein, ein abschließendes „$“ verankert das Ende des Pfads), und das am längsten übereinstimmende Muster gewinnt – wobei ein Allow bei jedem Gleichstand gegen ein Disallow gleicher Länge gewinnt, genau wie in der robots.txt-Implementierung von Google dokumentiert.

In der Ergebnisanzeige wird nicht nur „ZULÄSSIG“ oder „BLOCKIERT“ angezeigt, sondern auch die genaue verantwortliche Zeile und der Regeltext, sodass Sie direkt zu Ihrer Datei zurückkehren und die wichtige Anweisung korrigieren (oder bestätigen) können. Das ist das Detail, das die meisten robots.txt-Prüfer überspringen, und es ist der Unterschied zwischen dem Erraten, warum eine Seite nicht gecrawlt wird, und dem sicheren Wissen.