robots.txt
Textdatei im Stammverzeichnis einer Website, die Crawlern anzeigt, welche Seiten sie erkunden oder meiden sollen.
Was ist robots.txt?
robots.txt ist ein Webstandard, mit dem Websitebetreiber Regeln für Crawler mitteilen. Die Datei legt fest, welche Bereiche einer Website erkundet werden dürfen. Für GEO ist es wichtig, robots.txt so einzurichten, dass KI-Crawler wie GPTBot und ClaudeBot auf Ihre Inhalte zugreifen können, sofern keine rechtlichen oder strategischen Gründe für eine Sperre sprechen.
So macht Qwairy das umsetzbar
Qwairy analysiert Ihre robots.txt auf Zugänglichkeit für KI-Crawler. Die Crawlability-Analyse prüft, ob GPTBot, ClaudeBot, Google-Extended und weitere KI-Crawler Ihre Inhalte erreichen können, und erkennt Sperrregeln, die KI-Sichtbarkeit verhindern könnten.
Häufig gestellte Fragen
Verwandte Begriffe
KI-Crawler
Automatisierter Webclient eines KI-Unternehmens für Modelltraining, KI-Suche oder von Nutzern angeforderte Abrufe.
llms.txt
Vorgeschlagenes Dateiformat für eine strukturierte Übersicht der Websiteinhalte, die LLMs das Verständnis erleichtern soll.
GPTBot
Webcrawler von OpenAI für Inhalte, die möglicherweise zum Training generativer KI-Modelle genutzt werden; unabhängig vom Such-Crawler OAI-SearchBot.
ClaudeBot
Webcrawler von Anthropic, der öffentliche Webinhalte zum Training und zur Verbesserung von Claude-Modellen sammelt; Websitebetreiber steuern den Zugriff über robots.txt.
Crawlability
Maß dafür, wie leicht Suchmaschinen- und KI-Crawler wie GPTBot oder ClaudeBot auf Websiteinhalte zugreifen, sie durchsuchen und indexieren können.
KI-Architektur, die vor dem Erzeugen einer Antwort relevante Informationen in Echtzeit aus externen Quellen abruft.
Maßnahmen, mit denen eine Website in klassischen Suchergebnissen besser platziert werden soll.