AI-Crawler-Zugang
25/25
KI-Crawler kommen an eure Inhalte und ihr habt es explizit geregelt.
robots.txt
robots.txt gefunden (90 Zeilen). Regeln werden ausgewertet.GPTBot
GPTBot ist in der robots.txt eigens genannt und für die Startseite erlaubt.ClaudeBot
ClaudeBot ist in der robots.txt eigens genannt und für die Startseite erlaubt.PerplexityBot
PerplexityBot ist in der robots.txt eigens genannt und für die Startseite erlaubt.Google-Extended
Google-Extended ist in der robots.txt eigens genannt und für die Startseite erlaubt.Live-Test GPTBot
GPTBot bekommt dieselbe Antwort wie ein Browser (Status 200).Live-Test ClaudeBot
ClaudeBot bekommt dieselbe Antwort wie ein Browser (Status 200).Live-Test PerplexityBot
PerplexityBot bekommt dieselbe Antwort wie ein Browser (Status 200).Google-Extended
Google-Extended ist nur ein robots.txt-Token, kein eigener Crawler — dafür gibt es keinen Live-Test. Es steuert, ob Gemini eure Inhalte nutzen darf.
Next step
Nennt GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended namentlich in eurer robots.txt mit „Allow: /“ — und prüft in Cloudflare unter AI Crawl Control, dass keine Bot-Regel sie vorher abfängt.