So messen wir, wie fest eine Marke in KI-Modellen verankert ist.
Diese Seite beschreibt den vollständigen Messaufbau: vom Fragen-Raster über die Konfidenz-Rechnung bis zur Auswertung. Fachbegriffe wie Sampling, Grounding und LLM-Judge fließen hier freier als auf der Startseite. Wo es rechnerisch wird, steht die Rechnung zum Aufklappen bereit.
Ihr Markt wird ein Raster aus Fragen.
Am Anfang steht der Prompt-Trichter. Stufe 0 fragt nach der Kategorie und ihrem Vokabular: Wen empfiehlt ein Modell, wenn jemand allgemein nach Industrie-Reinigungstechnik fragt, wen bei einzelnen Produktbegriffen wie Industriesaugern? Stufe 1 fragt nach Segmenten, so wie Kunden wirklich fragen: „Welcher Anbieter eignet sich für Betriebe unter 50 Mitarbeitern?" Dazu kommen Attribut-Fragen zu Eigenschaften wie transparenten Preisen oder kurzen Lieferzeiten.
Jede dieser Fragen ist eine Raster-Zelle. Je Zelle und Marke entsteht eine Empfehlungsquote: der Anteil der Antworten, in denen das Modell die Marke empfiehlt. Die Markt-Landkarte auf der Startseite zeigt so ein Raster mit fiktiven Demo-Daten: 14 Zellen für 8 Marken, davon 3 Kategorie-Fragen, 4 Segment-Fragen und 7 Attribut-Fragen.
Wie viele Zellen Ihr Markt braucht, entscheidet sich im Kick-off. Die Staffeln auf der Paket-Seite unterscheiden sich genau hier: bis zu 8 Zellen bei Staffel S, bis zu 20 bei M, bis zu 36 bei L.
50 Wiederholungen machen aus einem Zufallsergebnis eine Quote.
Ein KI-Modell beantwortet dieselbe Frage nicht zweimal gleich. Ob eine Marke genannt wird, entscheidet sich bei jeder Antwort neu, mit einer bestimmten Wahrscheinlichkeit. Diese Wahrscheinlichkeit ist die Empfehlungsquote. Sie lässt sich nur durch Wiederholung messen.
Deshalb läuft jede Frage mindestens 50-mal je Modell. Bei 5 Abfragen kann eine echte Quote von 40% zufällig als 0 Treffer erscheinen, das passiert in rund 8 von 100 Fällen. Bei 50 Abfragen ist so ein Ausreißer praktisch ausgeschlossen, und das 95%-Konfidenzintervall liegt selbst im ungünstigsten Fall bei ±14 Prozentpunkten.
Die Konfidenz-Rechnung im Detail
Für eine gemessene Quote p aus n Antworten gilt das 95%-Konfidenzintervall der Normalapproximation. Am breitesten wird es bei p = 50%; diese ungünstigste Breite zeigt die Tabelle.
p ± 1,96 · √( p · (1 − p) / n )
| Abfragen je Frage | 95%-Intervall |
|---|---|
| 5 | ±44 Prozentpunkte |
| 20 | ±22 Prozentpunkte |
| 50 | ±14 Prozentpunkte |
| 200 | ±7 Prozentpunkte |
Das Beispiel von oben, nachgerechnet: Eine echte Quote von 40% liefert bei n = 5 mit 7,8% Wahrscheinlichkeit 0 Treffer (0,6⁵ ≈ 0,078) und mit 7,7% Wahrscheinlichkeit 4 von 5 Treffern. Dieselbe Marke sieht in der einen Stichprobe abgeschlagen aus und in der nächsten dominant.
Mehr als 50 lohnt selten: Für die halbe Intervallbreite braucht es die vierfache Stichprobe, n = 200. 50 je Frage und Modell ist der Arbeitspunkt dieser Messung, eng genug, um zwei Marken im selben Markt zu unterscheiden, und über tausende Prompts hinweg bezahlbar.
Jede Frage läuft gegen 2 Modelle, in mehreren Formulierungen.
Gemessen wird gegen ChatGPT und Gemini. Dieselbe Marke kann in einem Modell sicher verankert sein und im anderen kaum vorkommen; im Demo-Profil der Startseite empfiehlt ChatGPT die Marke bei transparenten Preisen in 48 von 50 Antworten, Gemini in 35 von 50.
Daraus ergibt sich die Untergrenze je Staffel: Raster-Zellen × 50 Wiederholungen × 2 Modelle. Staffel M kommt bei 20 Zellen so auf mindestens 2.000 Prompts.
Bis zur Obergrenze, bei Staffel M 5.000 Prompts, messen wir dieselbe Frage zusätzlich in verschiedenen Formulierungen. Schon der Wortlaut verändert, wen ein Modell empfiehlt: „Welche Anbieter für Industrie-Reinigungstechnik sind empfehlenswert?" und „Welche Firma würden Sie für Industrie-Reinigungstechnik empfehlen?" liefern verschiedene Verteilungen. Welche Varianten in Ihr Raster gehören, legen wir im Kick-off fest.
Ein Prüfmodell macht tausende Antworten zählbar.
Die Messung läuft 2 Wochen. Was zurückkommt, ist Freitext: Empfehlungen, Aufzählungen, Begründungen in tausenden Varianten.
Ein LLM-Judge wertet jede Antwort aus: Ein Prüfmodell erkennt für jede Marke im Raster, ob sie genannt oder empfohlen wird. So werden aus Antworten Messpunkte. Bei Staffel M ergeben 5.000 Antworten und 8 Marken 40.000 Messpunkte.
Platzhalter: anonymisierter Ausschnitt echter CLI-Ausgabe einer laufenden Messung (Handover 10.3). Liegt noch nicht vor, wird nicht nachgebaut.
Ein Modell empfiehlt aus zwei Quellen.
Ein Teil der Antworten kommt aus dem Trainingswissen des Modells, den Parametern, die beim Training entstanden sind. Der andere Teil entsteht durch Live-Recherche: Das Modell sucht im Web, liest Seiten und zitiert sie. Man spricht von Grounding.
Die Messung trennt beide Fälle je Antwort und sammelt bei Live-Recherche die zitierten Quellen ein. Diese Quellenanalyse zeigt, welche Seiten die Empfehlungen in Ihrem Markt speisen. Für die Maßnahmenliste im Workshop ist die Trennung die Grundlage: Verankerung im Trainingswissen ändert sich erst mit neuen Modellversionen, zitierte Quellen lassen sich schneller beeinflussen.
Zwei Schwellen teilen jede Zelle in drei Befunde.
Ab 80% gilt eine Marke in einer Zelle als sicher verankert, das sind mindestens 40 von 50 Antworten. Ab 40% gilt sie als teils verankert. Darunter ist die Zelle kritisch.
Die Schwellen sind Konventionen des Befunds. Sie sind so gewählt, dass die Messunsicherheit sie nicht verwischt: Zwischen sicher und kritisch liegen mindestens 40 Prozentpunkte, deutlich mehr als die ±14 Prozentpunkte des ungünstigsten Konfidenzintervalls bei n = 50.
Die Markt-Landkarte und das Verankerungsprofil färben jede Zelle nach diesen drei Befunden ein.
Der Befund ist eine Momentaufnahme mit Verfallsdatum.
Modelle werden aktualisiert, Wettbewerber veröffentlichen neue Inhalte, Quellen verschwinden. Eine Messung gilt für den Zeitraum, in dem sie gelaufen ist. Deshalb sagen wir Ihnen im Workshop auch, wann sich eine Wiederholung für Ihren Markt lohnt.
Worin unterscheidet sich das von laufendem Monitoring?
Monitoring ist eine andere Kategorie, keine Konkurrenz. Es beobachtet fortlaufend, wie einzelne Abfragen zur eigenen Marke ausfallen, und ist nützlich, sobald der Stand einmal belastbar vermessen ist.
| Monitoring | Verankerungs-Messung | |
|---|---|---|
| Datenbasis | einzelne Momentaufnahmen | mindestens 50 Wiederholungen je Frage und Modell |
| Blickfeld | die eigene Marke | der gesamte Markt, Zelle für Zelle |
| Ergebnis | ein laufendes Dashboard | Befund und halbtägiger Workshop mit Maßnahmenliste |
Tabelle lässt sich seitlich verschieben.
Beides passt zusammen, in dieser Reihenfolge: erst die Diagnose, dann lohnt sich Beobachtung.
Einen Befund nach dieser Methodik sehen Sie in der Demo, an einer echten Markt-Landkarte.
15 Minuten. Wir zeigen Ihnen, wie das aussieht.