DEV Community: Tsari Bombelli

llms.txt: Funktioniert es wirklich? Was Server-Logs zeigen

Tsari Bombelli — Fri, 24 Jul 2026 14:11:01 +0000

844'000 Websites liefern heute eine llms.txt aus (BuiltWith, Stand 25. Oktober 2025), und kein einziger grosser KI-Anbieter hat je bestätigt, dass seine Systeme die Datei überhaupt lesen. Das ist der ganze Widerspruch in einem Satz. Wer wissen will, ob GPTBot oder ClaudeBot die eigene Datei tatsächlich abholen, kommt an einer Stelle nicht vorbei: am eigenen Server-Log. Nicht das Tool-Dashboard, nicht der Blog-Post der nächsten Agentur. Das Access-Log. Alles andere ist Meinung.

Zur Erinnerung, kurz: llms.txt ist eine Markdown-Datei im Root der Domain, vorgeschlagen am 3. September 2024 von Jeremy Howard (Answer.AI / fast.ai). Sie soll einem KI-System helfen, die Website schneller zu erfassen, im Wortlaut der Spezifikation "provide information to help LLMs use a website at inference time". Wie die Datei aufgebaut ist, steht im Haupt-Guide zu llms.txt. Hier geht es um die andere Frage: ob das Versprechen in der Realität ankommt.

Der erste grosse Player, der sich klar geäussert hat, war Google. John Mueller schrieb im April 2025, llms.txt sei für ihn vergleichbar mit dem alten keywords-Meta-Tag, und man sehe schon an den Server-Logs, dass die KI-Dienste die Datei nicht einmal abfragen. Der Vergleich sitzt. Das keywords-Tag war eine selbstdeklarierte Angabe, die niemand gegen den echten Seiteninhalt prüfen konnte, und Google hat es aus genau diesem Grund fallen lassen. Semrush hat die Sache dann sauber getestet und auf der Schwester-Property Search Engine Land eine llms.txt ausgerollt, Mitte August bis Ende Oktober 2025. Ergebnis über zehn Wochen: null Besuche von Google-Extended, GPTBot, PerplexityBot und ClaudeBot. Ahrefs kam zum selben Schluss, Ryan Law formuliert es dort als "no evidence that llms.txt improves AI retrieval, boosts traffic, or enhances model accuracy". Auch die bisher detaillierteste öffentliche Log-Auswertung passt ins Bild: Flavio Longato hat 1'000 Adobe-Experience-Manager-Domains über 30 Tage CDN-Logs ausgewertet, Googlebot-Desktop machte 94,9 Prozent der Zugriffe auf die llms.txt-Dateien aus, OAI-SearchBot 1,1 Prozent, GPTBot, ClaudeBot und PerplexityBot tauchten gar nicht auf.

Prüfen kann man das für die eigene Domain in ein paar Minuten. Man greppt das Access-Log nach dem String llms.txt und liest die User-Agent-Spalte, bei Apache und Nginx reicht dafür eine Zeile mit grep und awk. Relevant sind die dokumentierten Bots der grossen Anbieter: GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot, Claude-SearchBot und Claude-User von Anthropic, dazu PerplexityBot, Google-Extended, CCBot und Bytespider. Wer genau hinschaut, trennt dabei Trainings-Crawler, Such-Index und Live-Fetch, denn ein OAI-SearchBot-Treffer auf der llms.txt bedeutet etwas anderes als ein reiner GPTBot-Trainingsbesuch.

Ein Punkt entscheidet über die ganze Auswertung, und er wird fast immer übersehen: die Gegenprobe. Eine Null auf der llms.txt heisst für sich genommen nichts. Sie heisst erst etwas, wenn derselbe Bot woanders auf der Domain auftaucht. Crawlt GPTBot die Seite hundertmal und die llms.txt kein einziges Mal, ist das ein klares Signal für Desinteresse. Besucht GPTBot die Domain generell nie, sagt die Null über die Datei nichts, dann fehlt schlicht der Traffic. Deshalb prüfe ich immer parallel eine Vergleichs-URL, robots.txt oder eine normale Content-Seite, und setze die Zahlen ins Verhältnis. Ohne diese Relation ist der Befund wertlos.

Zwei Dinge noch zur Sauberkeit. User-Agent-Strings kann jeder fälschen, wer eine Zahl in ein Audit schreibt, sollte die IP-Ranges gegen die offiziellen Listen prüfen (OpenAI veröffentlicht sie unter gptbot.json, Anthropic unter bots.json). Und der Zeitraum: LLM-Bots crawlen seltener als Googlebot, unter zwei Wochen ist die Messung wertlos, ich rechne mit 60 bis 90 Tagen. Ehrlich gesagt ist die IP-Verifikation für die meisten KMU-Setups Over-Engineering, ich fahre sie nur, wenn eine Zahl in einen Pitch wandert. Für den ersten Blick genügt grep. Ein kleiner wöchentlicher Cron-Job, der die Befehle laufen lässt und das Ergebnis in eine Textdatei schreibt, macht daraus ein laufendes Bild, das sich sauber in ein vollständiges KI-Sichtbarkeits-Monitoring einfügt.

Meine Position nach all dem ist unaufgeregt. Liefern Sie die Datei aus. Sie kostet fast nichts, sie schadet nichts, und falls OpenAI oder Anthropic den Standard 2026 offiziell übernehmen, steht die Infrastruktur schon bereit. Wie das praktisch läuft, steht im Guide zum Hochladen und Prüfen, die Handarbeit nimmt Ihnen ein Generator ab. Nur: Erwarten Sie keine Sichtbarkeit davon. Wer heute hochlädt und nächsten Monat auf mehr Perplexity-Zitate hofft, wird enttäuscht. Das ist nicht der Wirkmechanismus, und kein Vendor-Guide behauptet ernsthaft etwas anderes. Selbst die Zehn-Sites-Studie auf Search Engine Land zeigte es: Wo der Traffic stieg, lagen parallele Änderungen vor, PR-Berichte, neue FAQs, umgebaute Produktseiten. Die llms.txt war nicht der Hebel.

Was heute wirklich Sichtbarkeit bringt, ist der langweilige Teil. Sauberes Schema.org-Markup, das im gerenderten HTML steckt und von GPTBot und ClaudeBot ohne Extra-Abfrage gelesen wird. Eine robots.txt, die klar regelt, wer den Content für KI-Training anfassen darf. Hohe Fact-Density mit konkreten Zahlen und Quellen, klar attribuierte Autoren, weil KI-Systeme Quellen bevorzugen, die beim Faktencheck standhalten. Dieses Handwerk ist messbar wirksam, wie man es umsetzt, steht in den Massnahmen für die Website-Optimierung. Die llms.txt liegt da obendrauf, als günstige Wette auf einen Fall, der vielleicht kommt. Für ein Schweizer KMU heisst das eine klare Reihenfolge: zuerst die belegten Signale sauber auf die Seite, dann die Datei. Genau so bauen wir die AEO-Leistungen bei Bombelli Analytics. Und in sechs Monaten schauen Sie wieder ins Log. Dann haben Sie Evidenz statt einer Meinung.

Wie googelt ChatGPT? Fan-out Queries verstehen

Tsari Bombelli — Fri, 24 Jul 2026 14:06:53 +0000

Stellen Sie Perplexity eine Frage, die aktuelles Wissen braucht, und schauen Sie einen Moment zu, was oben passiert. Sie tippen einen Satz ein, und das System feuert daraufhin gleich mehrere Suchen los. Aus Ihrer einen Frage werden vier, fünf, manchmal mehr eigene Suchanfragen, die parallel starten. Das ist Fan-out, und ChatGPT macht im Hintergrund genau dasselbe, nur weniger sichtbar.

Das Wichtige daran: ChatGPT sucht nicht nach Ihrer Frage. Es sucht nach seinen eigenen Umschreibungen Ihrer Frage. Ich stelle mir das vor wie einen Rechercheauftrag, den man auf mehrere Leute verteilt. Jede Person bekommt denselben Auftrag in leicht anderen Worten, geht getrennt los, bringt ihre Funde zurück, und am Ende wird alles auf einem Tisch zusammengeschoben und zu einer Antwort verdichtet. Die einzelne Suchanfrage ist dabei nie das Ganze, sie bleibt immer nur ein Ausschnitt.

Warum die genaue Zahl egal ist

Die Frage, die mir am häufigsten gestellt wird, lautet: Wie viele Suchanfragen macht ChatGPT denn pro Frage? Ehrlich gesagt ist das die falsche Frage. OpenAI nennt dazu keine feste Zahl, und die Schätzungen der Anbieter streuen von wenigen bis zu über einem Dutzend pro Antwort. Wer sich an dieser Zahl festhält, verpasst den Punkt. Der Punkt ist: Ihr Thema wird in Formulierungen gesucht, die Sie selbst nie gewählt hätten. Und wer bei mehreren dieser Formulierungen als Quelle auftaucht, wird deutlich häufiger zitiert.

Genau da sehe ich in der Praxis den häufigsten Fehler. Firmen optimieren eine Seite auf ihren einen Lieblingsbegriff, den Kopf-Begriff, und wundern sich dann, dass sie in den KI-Antworten nicht vorkommen. Der Grund ist simpel: ChatGPT sucht diesen exakten Kopf-Begriff oft gar nicht. Es sucht die Nachbarn, die Synonyme, die konkrete Variante. Wer nur den einen Begriff bedient, ist bei den restlichen Suchanfragen schlicht nicht da.

Dass das kein ChatGPT-Sonderweg ist, lässt sich belegen. OpenAI beschreibt im eigenen Help Center, dass ChatGPT eine Anfrage in eine oder mehrere gezielte Suchanfragen umschreibt, und nennt das selbst query fanout. Google spricht bei seinem AI Mode nach eigener Darstellung von einer query fan-out technique, die eine Frage in Teilthemen zerlegt. Und Search Engine Land hat das beobachtete Fan-out-Verhalten von ChatGPT über den internen web.run-Schritt bereits dokumentiert. Der Mechanismus zieht sich also durch alle grossen Anbieter.

Was das für Ihre Inhalte heisst

Für Ihre Inhalte hat das eine unbequeme Folge. Ein einzelnes Keyword-Ranking sagt fast nichts mehr aus. Was zählt, ist die Breite, mit der Sie ein Thema abdecken. Wenn Sie über nachhaltiges Reisen schreiben und nur diesen einen Ausdruck verwenden, sind Sie für die Suchanfrage nach Eco-Tourism oder nach zertifizierten nachhaltigen Hotels unter Umständen unsichtbar (das sind konstruierte Beispiele, keine echten Logs, aber sie zeigen das Prinzip).

Drei Hebel helfen dabei. Der banalste zuerst: Bedienen Sie dasselbe Thema in mehreren Formulierungen und nicht nur in Ihrem Lieblingsausdruck. Dann die Geduldsarbeit, thematische Autorität über ein zusammenhängendes Content-Cluster, weil eine einzelne Seite selten alle Varianten trifft. Und der Hebel, den die meisten unterschätzen: Eine dedizierte Unterseite für einen einzelnen Teilaspekt schlägt die grosse Sammelseite in den Audits fast immer. Wie Sie das konkret angehen, habe ich im Leitfaden dazu beschrieben, wie Sie Ihre Website für ChatGPT optimieren.

Das Unangenehme am Fan-out ist, dass Sie das meiste davon selbst nicht sehen. Perplexity zeigt seine Suchanfragen oft offen an, ChatGPT mit Browsing manchmal, aber der grösste Teil läuft verdeckt. Deshalb messe ich es systematisch. Im GEO-Audit teste ich ein Thema mit vielen Formulierungen quer über ChatGPT, Claude, Gemini und Perplexity und halte pro KI-Antwort fest, bei welcher Formulierung Ihre Inhalte auftauchen und bei welcher nicht. Ein einzelner Schnelltest zeigt Ihnen einen Moment, der morgen schon anders aussieht. Erst die Menge an Formulierungen zeigt das Muster: wo Sie gewinnen und wo eine ganze Gruppe von Suchanfragen an Ihnen vorbeigeht. Die Rohdaten liefere ich als Excel, damit jede Zeile nachvollziehbar bleibt. Wie sich daraus belastbare Kennzahlen ableiten lassen, steht im Beitrag dazu, wie Sie KI-Sichtbarkeit messen; den genauen Ablauf beschreibt ein systematischer Prompt-Audit.

Wo Fan-out an Grenzen stösst

Fan-out ist kein Allheilmittel, und ich sehe die Grenzen regelmässig. Bei sehr engen Nischenthemen kann ein breiter Fan-out sogar verwässern. Wenn zu einer Formulierung kaum brauchbare Ergebnisse existieren, zieht die KI schwache Quellen heran, und die Antwort wird schlechter statt besser. Und egal wie clever das Auffächern ist, am Ende hängt alles am Suchindex. Was dort nicht auftaucht, findet auch der beste Fan-out nicht.

Wenn Sie eine Sache aus diesem Text mitnehmen, dann diese: Ein einzelnes Keyword-Ranking ist als Zielgrösse tot. Über Ihre Sichtbarkeit in KI-Antworten entscheidet die Breite, mit der Sie ein Thema besetzen. Genau dieses Zusammenspiel aus thematischer Tiefe und semantischer Breite steckt hinter dem Konzept LLMO. Und wenn Sie wissen wollen, bei welchen Formulierungen Ihre Inhalte heute gefunden werden und bei welchen nicht, dann zeigt Ihnen genau das ein GEO-Audit.

llms.txt erklärt: Der Standard für KI-Crawler und LLMs

Tsari Bombelli — Fri, 24 Jul 2026 14:03:47 +0000

Ich werde in letzter Zeit oft gefragt, ob eine llms.txt jetzt Pflicht sei. Meine ehrliche Antwort: Nein, noch nicht. Die Datei ist schnell gebaut, sie schadet nie, und trotzdem verkauft die halbe GEO-Branche sie gerade als den einen Hebel, der Sie in ChatGPT sichtbar macht. Das ist sie nicht. Wer sie anlegt, sollte wissen, was sie realistisch leistet und was nicht.

Fangen wir bei dem an, was llms.txt überhaupt ist. Es ist eine simple Textdatei im Markdown-Format, die im Root-Verzeichnis Ihrer Website liegt, also unter ihre-domain.ch/llms.txt. Vorgeschlagen hat den Standard Jeremy Howard von Answer.AI, am 3. September 2024. Der Aufbau ist bewusst minimal: eine H1 mit dem Namen der Website, darunter optional ein kurzer Zusammenfassungssatz als Blockquote, und dann ein paar H2-Abschnitte mit Linklisten zu Ihren wichtigsten Seiten, jeweils mit einem Satz Beschreibung. Mehr braucht es nicht. Wer die ganze Dokumentation in einem Rutsch ausliefern will, kann zusätzlich eine llms-full.txt bereitstellen, die das gesamte Material als ein Markdown-Dokument bündelt. Anthropic macht das für die eigene Entwickler-Doku vor.

Konkret liest sich so eine Datei wie eine kurze Inhaltsübersicht: oben der Name mit einer Raute, darunter der Einzeiler, was Sie tun, dann Abschnitte wie "Services" oder "Ressourcen" mit je drei, vier Links und einem Satz Erklärung dahinter. Kein HTML, keine Verschachtelung, nichts Proprietäres. Genau diese Schlichtheit ist der Punkt: Ein KI-System kann das ohne Umschweife lesen und sieht auf einen Blick, worum es bei Ihnen geht.

So weit die Theorie, warum die Datei für GEO zählt. Sie spart dem System das Raten. Statt sich durch Ihre Navigation zu arbeiten, bekommt es Ihre eigene Priorisierung serviert, samt dem Kontext, in den Sie Ihre Seiten stellen. Bei einer grossen, verschachtelten Website ist das plausibel wertvoll. Bei einer schlanken Firmenseite mit zwölf Unterseiten sehe ich den Nutzen ehrlich gesagt kaum. Ob es die Zitierhäufigkeit in den Antworten wirklich hebt, kann ich Ihnen für einzelne Mandate nicht sauber belegen, dazu ist der Effekt zu klein und von allem anderen überlagert. Ich halte die llms.txt darum für saubere Fleissarbeit, nicht für einen Wachstumshebel.

Wer die Datei wirklich abholt

Jetzt der Teil, den die meisten Anleitungen weglassen. Eine Datei bereitzustellen heisst nämlich nicht, dass die grossen Crawler sie auch lesen. In den Logs, die ich mir angeschaut habe, taucht der GPTBot von OpenAI ab und zu bei der llms.txt auf, vereinzelt, nicht systematisch. Von ClaudeBot und PerplexityBot sehe ich keinen verlässlichen Zugriff auf die Datei selbst; deren Quellenauswahl läuft über ganz normales Crawling und Indexieren. Und Google sagt es offen: Gary Illyes von Google Search Central hat am 24. Juli 2025 klargestellt, dass Google llms.txt für die Suche nicht unterstützt und das auch nicht plant. Für die AI Overviews gilt schlicht normales SEO. Ob und wie die grossen KI-Crawler die Datei wirklich abholen, zeigt am Ende nur der eigene Server-Log, dazu habe ich einen eigenen Test mit echten Logdaten gemacht. Das ist die unbequeme Lage: Der Standard existiert, die flächendeckende Abholung nicht.

Wenn Sie sie bauen, dann richtig

Gegen eine llms.txt spricht trotzdem nichts, sie kostet ja fast nichts. Nur bauen Sie sie richtig. Kürze schlägt Vollständigkeit. Ich sehe immer wieder Dateien, in die jemand die halbe Sitemap gekippt hat, fünfzig Links ohne Rangfolge. Das macht das Gegenteil von dem, wofür die Datei da ist: Es verwischt Ihre Prioritäten, statt sie zu zeigen. Wenn ich so eine Datei auf fünf, sechs Kernseiten eindampfe, wird aus einer beliebigen Linkwand wieder eine klare Aussage, und genau das soll die Datei ja sein. Nehmen Sie also eine Handvoll Seiten, die wirklich zählen, und schreiben Sie zu jeder einen sachlichen Satz, was dort steht. "GEO-Audit: einmalige Analyse Ihrer KI-Sichtbarkeit" ist brauchbar, "revolutionäre Lösung" ist Lärm. Halten Sie die Links aktuell, tote Verweise geben dem System widersprüchliche Signale.

Noch kurz zur robots.txt, weil das oft durcheinandergeht: Die robots.txt sagt Crawlern, wo sie nicht hindürfen. Die llms.txt sagt KI-Systemen, was sie zuerst anschauen sollen. Beide vertragen sich, Sie können den Login-Bereich in der robots.txt sperren und in der llms.txt Ihre besten Seiten listen. Datenschutzrechtlich ist die Datei unkritisch, jedenfalls nach Schweizer DSG. Sie liegt öffentlich im Root, jeder kann sie im Browser aufrufen (sie versteckt nichts), und sie verarbeitet keine Personendaten. Genau deshalb gehört da nichts rein, was nicht ohnehin öffentlich ist: keine internen Pfade, keine Kundendaten. Behandeln Sie die llms.txt wie eine Visitenkarte, die am Empfang ausliegt.

Lohnt sich der Aufwand also heute schon? Für zwanzig Minuten Arbeit: ja, legen Sie die Datei an, sie ist bereit, falls die Crawler nachziehen. Nur erwarten Sie sich davon keine Sichtbarkeit, die Sie nicht ohnehin über gute, sauber strukturierte Inhalte bekommen. Die llms.txt ist die Kür. Wer seine KI-Sichtbarkeit ernsthaft bewegen will, fängt bei dem an, was die Crawler heute schon lesen.