Zugang für KI-Crawler
Ob GPTBot, ClaudeBot, PerplexityBot & Co. die Seite laden dürfen – und ob sie sie zitieren dürfen.
z. B. „Darf GPTBot diese URL laden?“
Kostenlos · ohne Anmeldung
ChatGPT, Claude, Perplexity und Google AI lesen deine Seite regelmäßig – nur eben ganz anders als deine Besucher. AgentBuddy schaut mit ihren Augen drauf und sagt dir in Klartext, was gut läuft und was du leicht besser machst.
liest deine-domain.de
„Ich verstehe, worum es geht – aber für ein Zitat fehlen mir noch ein paar überprüfbare Zahlen. Fangen wir damit an?“
Was geprüft wird
Dein Buddy holt sich HTML, HTTP-Header, robots.txt, llms.txt, Sitemap und – sofern eingerichtet – Lighthouse-Daten. Die Prozentwerte sind das Gewicht im Gesamtscore. Nichts davon ist Magie, alles ist nachprüfbar.
Ob GPTBot, ClaudeBot, PerplexityBot & Co. die Seite laden dürfen – und ob sie sie zitieren dürfen.
z. B. „Darf GPTBot diese URL laden?“
Wie sauber deine Seite bei einem Agenten ankommt: Markdown-Variante, Nutztext statt Ballast, keine Wand davor.
z. B. „Gibt es die Seite auch als .md?“
Ob der Text in klar abgegrenzte, zitierfähige Antwortblöcke zerfällt – statt in eine Textwüste.
z. B. „Steht die Antwort im ersten Absatz?“
Maschinenlesbare Fakten zu Marke, Autor, Produkt und Fragen – die Grundlage für korrekte Zitate.
z. B. „Ist eure Organisation ausgezeichnet?“
Zahlen, Quellen, Autorenschaft und Aktualität – die Kriterien, nach denen Modelle Quellen auswählen.
z. B. „Stehen echte Zahlen im Text?“
Signale, an denen ein Modell erkennt, dass hinter der Domain eine reale, benennbare Organisation steht.
z. B. „Gibt es sameAs-Verweise nach außen?“
Ob der Inhalt ohne JavaScript im HTML steht, schnell ausgeliefert wird und sauber ausgezeichnet ist.
z. B. „Kommt der Text ohne JavaScript an?“
Dein Weg
GEO ist kein zweites SEO: Nicht das Ranking einer Seite zählt, sondern welche Passage ein Modell als Beleg verwendet. Die Schritte bauen aufeinander auf – du musst nicht alles auf einmal machen.
Schritt 1 · Reinlassen
KI-Crawler führen kein JavaScript aus (Ausnahme: Googlebot rendert), und die meisten halten sich an die robots.txt – verlassen kann man sich darauf nicht, deshalb ruft der Check zusätzlich mit Crawler-Kennung ab. Was dort blockiert ist, rettet auch der beste Text nicht.
Schritt 2 · Verstehen
Ein Agent hat ein begrenztes Kontextfenster. Je weniger Ballast du mitschickst, desto mehr von deinem Inhalt kommt tatsächlich an.
Schritt 3 · Antworten
Modelle zerlegen Seiten in Passagen und wählen die aus, die eine Frage auch ohne Kontext beantwortet.
Schritt 4 · Belegen
Zwischen zwei gleich gut strukturierten Seiten gewinnt die, die überprüfbarer ist.
Schritt 5 · Bekannt werden
Ein Modell nennt eine Marke, wenn es sie als eigenständige Entität kennt – dieses Wissen entsteht auf fremden Seiten.
Schritt 6 · Nachsehen
Rankings helfen hier nicht weiter. Aufwand lohnt sich nur, wenn du siehst, ob sich etwas bewegt.
Häufige Fragen
Ehrlichkeit gehört dazu: Der Check misst Voraussetzungen, keine Wunder. Hier steht, wo die Grenze verläuft.
AgentBuddy ruft eine von dir angegebene URL so ab, wie es ein KI-Agent tun würde, und prüft über 50 Signale in sieben Gruppen: Zugang für KI-Crawler, Lesbarkeit für Agenten, Struktur und Antwortfähigkeit, strukturierte Daten, Belege und Zitierfähigkeit, Marke als Entität sowie Technik und Auslieferung. Daraus entsteht ein Score von 0 bis 100 und eine nach Wirkung sortierte Liste konkreter Maßnahmen.
GEO bezeichnet die Optimierung von Websites darauf, in den Antworten generativer KI-Systeme wie ChatGPT, Claude, Perplexity, Google AI Overviews oder Copilot als Quelle verwendet und genannt zu werden. Anders als bei klassischen Suchergebnissen zählt nicht die Position in einer Liste, sondern ob eine Passage der Seite in die generierte Antwort einfließt.
SEO optimiert auf das Ranking einer ganzen Seite für eine Suchanfrage. GEO optimiert auf die Verwertbarkeit einzelner Passagen als Beleg für eine Antwort. Die technische Basis ist weitgehend dieselbe – erreichbar, schnell, strukturiert. Zusätzlich zählen bei GEO das Antwortformat des Textes, die Belegdichte, die Lesbarkeit für Agenten und die Frage, ob die Marke als eigenständige Entität bekannt ist.
Die Prüfung ruft die angegebene URL sowie robots.txt, llms.txt, eine mögliche Markdown-Fassung und die Sitemap ab und wertet HTML, HTTP-Header und strukturierte Daten aus. Daraus entstehen rund 50 Einzelsignale in sieben Gruppen: Zugang für KI-Crawler (22 %, inklusive eines echten Abrufs mit Crawler-Kennung), Struktur und Antwortfähigkeit (18 %), strukturierte Daten (16 %), Lesbarkeit für Agenten (14 %), Belege und Zitierfähigkeit (12 %), Marke als Entität (10 %) sowie Technik und Auslieferung (8 %). Jedes Signal fließt gewichtet in den Gesamtscore von 0 bis 100 ein.
Ja. Die robots.txt sagt nur, was ein Betreiber erlauben möchte – was eine Firewall tatsächlich tut, steht dort nicht. Deshalb wird die Seite zusätzlich mit der Kennung von GPTBot und ChatGPT-User abgerufen und mit dem normalen Abruf verglichen. Kommt dabei ein 403, eine Bot-Challenge oder eine erkennbar leerere Seite zurück, ist das der wichtigste Befund des ganzen Checks: Die robots.txt lädt die Crawler ein, die Firewall wirft sie raus. Die Abrufe tragen einen zusätzlichen Header, damit im Server-Log erkennbar bleibt, dass die Anfrage von AgentBuddy kam.
Coding-Agenten wie Claude Code, Cursor oder GitHub Copilot rufen Dokumentation und Websites zunehmend als Markdown ab – typischerweise über dieselbe URL mit der Endung .md oder über den Accept-Header text/markdown. Markdown enthält keinen Navigations-, Skript- und Style-Ballast, passt deutlich besser ins begrenzte Kontextfenster und lässt sich fehlerfrei in Abschnitte zerlegen. Wer eine Markdown-Fassung anbietet, wird von diesen Agenten vollständiger gelesen.
Nein. Der Check misst die Voraussetzungen für Sichtbarkeit, nicht die tatsächliche Nennung. Ob eine Marke in einer Antwort auftaucht, hängt zusätzlich vom Prompt, vom Modell, vom Zeitpunkt und von Erwähnungen auf fremden Seiten ab und ist nicht reproduzierbar messbar. Für die tatsächliche Nennung solltest du ein festes Set an Prompts regelmäßig selbst durchspielen.
llms.txt ist eine Markdown-Datei im Wurzelverzeichnis der Domain, die die wichtigsten Inhalte einer Website in kompakter Form für Sprachmodelle auflistet. Sie ist kein verabschiedeter Standard und wird nicht von allen Anbietern ausgewertet. Der Aufwand ist allerdings gering, und die Datei zwingt dazu, die eigenen Kerninhalte klar zu benennen.
Das ist eine strategische Entscheidung. Wer Inhalte vor der Nutzung im Modelltraining schützen will, kann GPTBot und CCBot sperren – reine Trainings-Kennungen wie CCBot, Google-Extended und Applebot-Extended zählen deshalb nicht in den Score; eine GPTBot-Sperre kostet dagegen Punkte, weil GPTBot bei OpenAI auch den Index füllt. Wer in Antworten vorkommen möchte, muss zumindest die Crawler für Suche und Live-Abruf zulassen – etwa OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User und PerplexityBot. Google ist ein Sonderfall: Für AI Overviews ist Googlebot zuständig; Google-Extended steuert ausschließlich die Nutzung in Gemini und hat keinen Einfluss auf die Suche. Eine pauschale Sperre bedeutet, in KI-Antworten nicht als Quelle zu erscheinen.
Technische Freigaben wie robots.txt oder Snippet-Direktiven wirken, sobald die Seite neu abgerufen wird – oft innerhalb weniger Tage. Inhaltliche und strukturelle Änderungen zeigen sich meist über mehrere Wochen. Erwähnungen auf fremden Seiten, die für die Erkennung als Entität nötig sind, brauchen erfahrungsgemäß Monate.
Ausschließlich öffentlich abrufbare Daten: das ausgelieferte HTML der angegebenen URL, die HTTP-Header, robots.txt, llms.txt, eine mögliche Markdown-Fassung und die Sitemap. Sind Lighthouse-Daten konfiguriert, kommen die Performance-Kennzahlen der PageSpeed-Insights-API hinzu. Es werden keine Zugangsdaten benötigt und keine geschützten Bereiche abgerufen.
Eine Adresse, 10 Sekunden, keine Anmeldung. Du bekommst einen Score, eine ehrliche Einschätzung und eine Liste, die du von oben nach unten abarbeiten kannst.