GPTBot
Webcrawler von OpenAI für Inhalte, die möglicherweise zum Training generativer KI-Modelle genutzt werden; unabhängig vom Such-Crawler OAI-SearchBot.
Was ist GPTBot?
GPTBot sammelt Webinhalte, die für das Training generativer KI-Modelle von OpenAI verwendet werden können. Websitebetreiber können seinen Zugriff über robots.txt steuern. OAI-SearchBot hat einen anderen Zweck: Er unterstützt Suchergebnisse in ChatGPT. Beide Crawler lassen sich unabhängig voneinander steuern. GPTBot zuzulassen oder zu sperren bestimmt daher nicht den Zugriff von OAI-SearchBot. Eine GPTBot-Anfrage beweist weder die Aufnahme in Trainingsdaten noch eine spätere Nennung oder ein Zitat in ChatGPT.
So macht Qwairy das umsetzbar
Qwairy klassifiziert beobachtete GPTBot-Anfragen in verbundenen Server-Logs. Sehen Sie, welche Seitengruppen angefordert wurden, wie häufig Anfragen erfasst wurden, welche HTTP-Antwortgruppen vorliegen und wie vollständig die Logs sind, ohne daraus den Wert der Inhalte abzuleiten.
Häufig gestellte Fragen
Verwandte Begriffe
KI-Crawler
Automatisierter Webclient eines KI-Unternehmens für Modelltraining, KI-Suche oder von Nutzern angeforderte Abrufe.
ChatGPT
Von OpenAI entwickelter dialogbasierter Assistent auf Grundlage von GPT-Modellen.
robots.txt
Textdatei im Stammverzeichnis einer Website, die Crawlern anzeigt, welche Seiten sie erkunden oder meiden sollen.
Kontrollkennung in robots.txt, mit der Publisher festlegen, ob Google gecrawlte Inhalte zum Training und zur Fundierung seiner Gemini-KI-Modelle verwenden darf.
Von xAI entwickeltes Sprachmodell, bekannt für den Zugriff auf aktuelle Informationen über X und einen eigenständigen Gesprächsstil.