robots.txt für KI-Crawler öffnen

Das Problem

Viele robots.txt-Templates blocken pauschal Bot-User-Agents — inkl. GPTBot, ClaudeBot, PerplexityBot, CCBot. Das verhindert dass diese Crawler deine Site lesen und damit dass KI sie kennt.

Der Fix

robots.txt überarbeiten. Entferne Disallow-Lines für GPTBot, ClaudeBot, PerplexityBot, CCBot, anthropic-ai, OAI-SearchBot, Google-Extended. Setze explizit Allow für diese User-Agents.

Code-Snippet

# robots.txt — AI crawler permissions

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: CCBot
Allow: /