# ========================================= # robots.txt für https://www.profischnell.com # FINALE VERSION – mehrfach geprüft (Stand: Juli 2026) # ========================================= # Hinweis zur Funktionsweise: robots.txt wendet pro Crawler nur # die EINE am genauesten passende Gruppe an (keine Vererbung von # "User-agent: *"). Bots mit identischen Zugriffsregeln sind daher # hier bewusst in gemeinsamen Gruppen zusammengefasst. # --- Alle Suchmaschinen & alle nicht gesondert genannten Bots --- User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /?s= Disallow: /search/ Disallow: /trackback/ Allow: /wp-admin/admin-ajax.php Allow: / # ========================================= # KI-Crawler – alle mit identischem Zugriff (technische Bereiche # gesperrt, restliche Inhalte frei zugänglich für Training & Live-Antworten) # ========================================= User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot User-agent: Amazonbot User-agent: FacebookBot User-agent: meta-externalagent User-agent: MistralAI-User User-agent: YouBot Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /?s= Disallow: /search/ Disallow: /trackback/ Allow: / # ========================================= # Bewusst vollständig blockierter Bot # ========================================= # ByteDance (TikTok-Suche, Doubao-KI) – komplett gesperrt. # Zeile entfernen, falls dieser Bot doch zugelassen werden soll. User-agent: Bytespider Disallow: / # ========================================= # Sitemap # ========================================= Sitemap: https://www.profischnell.com/sitemap.xml