LLM-Monitoring: Warum KI-Sichtbarkeit anders gemessen werden muss
Generative Antworten sind keine statischen Suchergebnislisten. Monitoring kann deshalb wertvoll sein – sofern klar bleibt, was gemessen wurde und welche Schlussfolgerungen die Daten tatsächlich erlauben.
Warum liefern KI-Systeme wechselnde Antworten?
Generative Systeme können auf ähnliche oder identische Fragen unterschiedliche Antworten und Quellen liefern. OpenAI weist selbst darauf hin, dass Suchergebnisse und Quellen unvollständig, veraltet oder falsch sein können und maßgebliche Quellen bei wichtigen Fragen geprüft werden sollten. Eine einzelne Abfrage ist deshalb keine dauerhafte Aussage über Sichtbarkeit.
Was kann ein LLM-Monitoring sinnvoll messen?
Ein Monitoring kann für definierte Fragen und Zeitpunkte erfassen, ob eine Marke genannt wurde, welche Position oder Rolle sie in einer Antwort hatte, welche Quellen verlinkt wurden und welche Wettbewerber vorkamen. Solche Messwerte beschreiben den beobachteten Zustand – nicht eine garantierte zukünftige Ausgabe.
Warum sollten Sie KI-Systeme getrennt auswerten?
Google AI Overviews, AI Mode, ChatGPT Search und Perplexity sind unterschiedliche Produkte mit unterschiedlichen Mechanismen. Beispielsweise dokumentiert Google seine Einbindung in Search Console, OpenAI den OAI-SearchBot und Perplexity den PerplexityBot. Ergebnisse sollten deshalb nicht ohne Weiteres von einem System auf ein anderes übertragen werden.
Wie wird aus Messdaten eine Optimierung?
Wiederholte Messungen können Muster sichtbar machen: Themen ohne Präsenz, häufig zitierte Quellen oder Wettbewerber, die bei relevanten Fragen regelmäßig erscheinen. Daraus lassen sich Hypothesen und Prioritäten ableiten. Ob eine konkrete Änderung ursächlich zu einer späteren Nennung führt, lässt sich ohne kontrollierte Evidenz jedoch nicht automatisch behaupten.
LLM-Monitoring aufsetzen: Fragen, Protokoll und Auswertung
Ob ein Monitoring belastbare Aussagen liefert, entscheidet sich vor der ersten Abfrage. Diese Schritte helfen Ihnen, Messungen so anzulegen, dass sie über Wochen vergleichbar bleiben.
Wie wählen Sie die Fragen für das Monitoring aus?
Gute Prompts stammen aus echten Gesprächen, nicht aus Keyword-Listen allein. Sammeln Sie Formulierungen aus Vertrieb, Kundenservice und Angebotsanfragen und ergänzen Sie Suchanfragen aus der Search Console.
Mischen Sie Fragen mit und ohne Markennamen: Nur die markenfreien zeigen, ob Sie bei offenen Kaufüberlegungen genannt werden. Legen Sie das Set danach fest und ändern Sie Formulierungen nur bewusst und dokumentiert.
Gruppieren Sie die Fragen nach Themen und Entscheidungsphasen – von der ersten Orientierung bis zum Anbietervergleich. So erkennen Sie später, in welcher Phase Ihre Marke fehlt.
Was sollten Sie je Abfrage festhalten?
Ohne Kontext lassen sich zwei Messungen nicht vergleichen. Notieren Sie deshalb bei jedem Durchlauf:
- Datum und Uhrzeit
- System und Modus, etwa ChatGPT mit Websuche oder Google AI Mode
- Sprache, Region und ob ein Nutzerkonto angemeldet war
- den exakten Wortlaut des Prompts
- den vollständigen Antworttext samt verlinkter Quellen
- genannte Wettbewerber und den Tonfall der Erwähnung
Speichern Sie Antworten als Text und nicht nur als Screenshot. Nur so lassen sich Quellen zählen, Formulierungen durchsuchen und zwei Messtermine sauber vergleichen.
Wie oft sollten Sie dieselbe Frage stellen?
Stellen Sie jede Frage pro Messtermin mehrfach und werten Sie den Anteil der Durchläufe mit Nennung aus. Eine Quote sagt mehr als ein einzelnes Ja oder Nein. Starten Sie jeden Durchlauf in einer neuen Sitzung ohne vorherigen Gesprächsverlauf, denn frühere Nachrichten im selben Chat können die Antwort beeinflussen.
Wählen Sie feste Intervalle und bleiben Sie dabei. Wer mal täglich, mal monatlich misst, sieht in den Daten vor allem den eigenen Rhythmus. Notieren Sie zudem Modell-Updates oder neue Funktionen der Anbieter, soweit bekannt – sie erklären manchen Sprung besser als jede eigene Maßnahme.
Wie ordnen Sie Ergebnisse je System richtig ein?
Prüfen Sie vor der Deutung, ob ein System Ihre Seiten überhaupt abrufen darf. OpenAI beschreibt in seiner Übersicht zu OAI-SearchBot und weiteren Crawlern, dass ausgesperrte Websites nicht in den Suchantworten erscheinen. Perplexity empfiehlt in seiner Dokumentation zu PerplexityBot, diesen Crawler zuzulassen. Fehlt Ihre Marke, kann also schlicht der Zugang fehlen.
Für Google ergänzt die Search Console Ihr Monitoring: Laut Googles Leitfaden zu KI-Funktionen stecken Auftritte in AI Overviews und AI Mode in den Web-Daten des Leistungsberichts.
Werten Sie außerdem die Quellen aus, nicht nur die Nennungen: Welche Domains verlinkt ein System wiederholt, wenn es um Ihr Thema geht? Genau dort kann eigene Präsenz, etwa durch Fachbeiträge, den größten Hebel haben. Typische Fehler bei der Auswertung sind:
- positive und kritische Erwähnungen gleich zu zählen,
- umformulierte Prompts mit alten Werten zu vergleichen,
- Werte verschiedener Systeme zu einem einzigen Score zu verrechnen,
- eine Veränderung ohne Prüfung einer eigenen Maßnahme zuzuschreiben.
OnMaTe misst KI-Sichtbarkeit mit der eigenen Technologie GEOmate – die vier Analyseebenen reichen von Prompt Monitoring und Visibility Scoring bis zu Source Intelligence und dem Action Layer. Die Maßnahmen daraus fließen in unsere LLM-Optimierung. Wie Messung und Umsetzung zusammenspielen, dokumentieren drei Referenz-Studien als Momentaufnahmen: secova mit 194 KI-Quellen-Nennungen im August 2026, Clopen mit einem Plus von 620 % bei den Top-3-Money-Keywords und das Jazzband Trio Mayence, das mit neun von zehn ausgewählten Städte-Begriffen in Googles Top 3 steht.
Häufige Fragen zu LLM-Monitoring
Was ist LLM-Monitoring?
LLM-Monitoring erfasst regelmäßig, wie eine Marke in generativen Antworten von Systemen wie ChatGPT Search, Perplexity oder Google AI Overviews vorkommt. Gemessen wird für definierte Fragen und Zeitpunkte. OnMaTe nutzt dafür das eigene Monitoring-System GEOmate mit vier Analyseebenen: Prompt Monitoring, Visibility Scoring, Source Intelligence und Action Layer.
Warum reicht eine einzelne Abfrage in ChatGPT nicht aus?
Eine einzelne Abfrage in ChatGPT ist keine dauerhafte Aussage über Sichtbarkeit, weil generative Systeme auf ähnliche oder identische Fragen unterschiedliche Antworten und Quellen liefern können. OpenAI weist selbst darauf hin, dass Suchergebnisse und Quellen unvollständig, veraltet oder falsch sein können. Belastbar wird KI-Sichtbarkeit erst durch wiederholte Messungen über mehrere Fragen und Zeitpunkte.
Welche Kennzahlen erfasst ein LLM-Monitoring?
Ein LLM-Monitoring erfasst für definierte Fragen und Zeitpunkte, ob eine Marke genannt wurde, welche Position oder Rolle sie in der Antwort hatte, welche Quellen verlinkt wurden und welche Wettbewerber vorkamen. Diese Kennzahlen beschreiben den beobachteten Zustand der KI-Sichtbarkeit – nicht eine garantierte zukünftige Ausgabe des jeweiligen Systems.
Lassen sich Ergebnisse aus ChatGPT auf Google AI Overviews übertragen?
Nein, Ergebnisse aus ChatGPT sollten nicht ohne Weiteres auf Google AI Overviews übertragen werden. Google AI Overviews, AI Mode, ChatGPT Search und Perplexity sind unterschiedliche Produkte mit eigenen Mechanismen – Google dokumentiert etwa die Einbindung in die Search Console, OpenAI den OAI-SearchBot und Perplexity den PerplexityBot. Ein gutes LLM-Monitoring betrachtet jedes System deshalb getrennt.
Beweist LLM-Monitoring, dass eine Optimierung gewirkt hat?
Nein, LLM-Monitoring allein beweist keine Ursache-Wirkung-Beziehung. Wiederholte Messungen machen Muster sichtbar – etwa Themen ohne Präsenz, häufig zitierte Quellen oder regelmäßig genannte Wettbewerber. Daraus lassen sich Hypothesen und Prioritäten für die Optimierung ableiten. Ob eine konkrete Änderung ursächlich zu einer späteren Nennung geführt hat, lässt sich ohne kontrollierte Evidenz aber nicht automatisch behaupten.