AI-Crawler-Zugang
17/25
KI-Crawler kommen grundsätzlich durch, aber euer Zugang ist nicht bewusst geregelt.
robots.txt
robots.txt gefunden (31 Zeilen). Regeln werden ausgewertet.GPTBot
GPTBot wird von eurer robots.txt nicht erwähnt — Zugang ungeregelt. Erlaubt ist er damit zwar, aber nur per Default.ClaudeBot
ClaudeBot wird von eurer robots.txt nicht erwähnt — Zugang ungeregelt. Erlaubt ist er damit zwar, aber nur per Default.PerplexityBot
PerplexityBot wird von eurer robots.txt nicht erwähnt — Zugang ungeregelt. Erlaubt ist er damit zwar, aber nur per Default.Google-Extended
Google-Extended wird von eurer robots.txt nicht erwähnt — Zugang ungeregelt. Erlaubt ist er damit zwar, aber nur per Default.Live-Test GPTBot
GPTBot bekommt dieselbe Antwort wie ein Browser (Status 200).Live-Test ClaudeBot
ClaudeBot bekommt dieselbe Antwort wie ein Browser (Status 200).Live-Test PerplexityBot
PerplexityBot bekommt dieselbe Antwort wie ein Browser (Status 200).Google-Extended
Google-Extended ist nur ein robots.txt-Token, kein eigener Crawler — dafür gibt es keinen Live-Test. Es steuert, ob Gemini eure Inhalte nutzen darf.
Next step
Nennt GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended namentlich in eurer robots.txt mit „Allow: /“ — und prüft in Cloudflare unter AI Crawl Control, dass keine Bot-Regel sie vorher abfängt.