Wie genau sind synthetische Befragte? Was die Evidenz wirklich aussagt

2026-08-13 · 16 Min. Lesezeit

Synthetische Befragte sind genau genug, um Optionen zu ordnen, Botschaften zu vergleichen und Einwände zu erfassen, aber nicht für belastbare Zahlen. Die veröffentlichte Evidenz stützt eine richtungsweisende und vergleichende Nutzung, nicht die Behandlung simulierter Antworten als Umfragedaten. Welche dieser beiden Anwendungen Sie wählen, entscheidet, ob die Methode hilft oder Sie unbemerkt in die Irre führt.

Wichtigste Erkenntnisse

• Genauigkeit ist nicht nur eine Sache. Verteilungsübereinstimmung, Richtungsübereinstimmung und individuelle Vorhersage sind drei Maßstäbe; synthetische Befragte schneiden bei ihnen sehr unterschiedlich ab.
• Die Kritiker haben bei den Fehlermustern weitgehend recht. Abhängigkeit von der Fragestellung, abgeflachte Varianz, halluzinierte Spezifität und ein ungleiches Standard-Meinungsprofil sind dokumentiert; kein größeres Modell behebt sie.
• Die Verankerung in echten Umfragedaten ist der zentrale Qualitätshebel. Ein größeres Modell ohne Datenverankerung liefert weiterhin die mittlere Internetmeinung im Kostüm.
• Kein Anbieter, auch wir nicht, kann für Ihre Kategorie eine Validitätszahl nennen. Entscheidend ist nur ein Benchmark gegen Ihre eigenen Studien.

Die meisten Texte zu diesem Thema folgen zwei Mustern: Anbieter behaupten Gleichwertigkeit, Forschende erklären die Methode grundsätzlich für unzulässig. Dieser Artikel benennt, was eingeräumt werden muss, und erklärt, wann synthetische Nutzer handlungsrelevante Ergebnisse liefern. Wenn die Kategorie neu für Sie ist, beginnen Sie mit der Frage, wie synthetische Personas aufgebaut werden – davon hängt das Argument zur Genauigkeit ab.

Warum diese Frage schwer zu beantworten ist

„Sind synthetische Nutzer genau?“ lässt sich so nicht beantworten, denn genau kann stillschweigend drei unvereinbare Dinge bedeuten.

Verteilungsübereinstimmung. Reproduziert die synthetische Stichprobe die Antwortverteilung der Population – also denselben Anteil für Option B oder denselben Mittelwert auf einer Skala von 1 bis 7? Das ist der strengste Maßstab und derjenige, den Marktgrößen benötigen.

Richtungsübereinstimmung. Wählt sie denselben Gewinner, ordnet sie Optionen gleich und reagiert sie zwischen zwei Bedingungen in dieselbe Richtung? Dieser schwächere Maßstab trägt die meisten Produktentscheidungen.

Individuelle Vorhersage. Kann ein aus den Daten einer Person gebauter Agent die Antworten dieser Person reproduzieren? Das ist ein Forschungsfeld und kommerziell meist nicht relevant, aber der einzige Bereich mit einem sinnvollen Vergleichsmaßstab. Toubia und Kollegen wiederholten beim Twin-2K-500-Datensatz in Columbia Aufgaben in einer letzten Umfragewelle, um die Genauigkeit anhand der Test-Retest-Übereinstimmung zu bewerten: also daran, wie gut Menschen ihre eigenen Antworten wiederholen. Vollständige Übereinstimmung ist kein Ziel, weil Menschen sie selbst nicht erreichen.

Ein Anbieter, der hohe Genauigkeit behauptet, meint meist Richtungsübereinstimmung; ein Kritiker, der ein Versagen berichtet, meist Verteilungsübereinstimmung. Beides kann stimmen.

Was die Forschung tatsächlich gefunden hat

Die Literatur ist jung, uneinheitlich und besser, als das Marketing beider Seiten nahelegt. Die Tabelle zeigt, was untersucht wurde, nicht eine Rangliste.

Keiner dieser Befunde stammt von SynthFolk, und keiner erlaubt die allgemeine Behauptung, synthetische Befragte seien X % genau. Genauigkeit hängt von Fragetyp, Markt, Modell und Verankerung ab. Das ist keine Ausrede der synthetischen Forschung: Wind und Sharp weisen bei empirischen Verallgemeinerungen in der Werbung darauf hin, dass selbst etablierte Gesetzmäßigkeiten unter bekannten Bedingungen nur begrenzt generalisierbar sind. Sarstedt und Kollegen sehen besonderes Potenzial „in upstream parts of the research process such as qualitative pretesting and pilot studies“, deutlich weniger in Hauptstudien.

Wo synthetische Befragte echten entsprechen

Beim richtungsweisenden Maßstab und angemessener Verankerung:

• Rangfolge von Optionen. Welche von sechs Wertversprechen funktionieren und welche nicht. Relative Urteile sind gegenüber Verzerrungen robuster als absolute.
• Breite Einstellungsrichtung. Ob ein Markt stärker um Privatsphäre besorgt ist als ein anderer; ob ein Claim beruhigend oder überzogen wirkt.
• Grobe Segmentunterschiede. Große, gut dokumentierte Gruppen – Altersgruppen, Stadt und Land, hohes und niedriges institutionelles Vertrauen – mit dichten Bevölkerungsdaten.
• Einwandinventare. Was Menschen nach eigener Aussage vom Kauf abhalten würde. Sie sammeln eine Menge, nicht ihre Häufigkeit.

Wo sie es nicht tun

Beim Verteilungs-Maßstab sind die Fehler vorab vorhersehbar:

• Preissensitivität in sinnvoller Detailtiefe. Gerade bei ökonomischen Bewertungsaufgaben verzeichnet der Sarstedt-Review Replikationsfehler.
• Absolute Absicht, Inzidenz und Prognosezahlen. „62 % würden wechseln“ hat die Form von Daten, nicht deren Eigenschaften. Lin zeigt: Schon 10 bis 52 synthetische Befragte in Umfragen mit 1.600 Personen kehrten die Führung eines Kandidaten um.
• Seltene und spezialisierte Populationen. Dort, wo die Einsätze am höchsten sind, sind Verankerungsdaten am dünnsten; das kündigt sich nicht an.
• Marken- und Werbeerinnerung sowie alles nach dem Trainingsstichtag. Salienz ist bei Romaniuk und Sharp die Wahrscheinlichkeit, dass eine Marke in einer Kaufsituation in den Sinn kommt, also eine Eigenschaft des Gedächtnisnetzes eines Käufers. Ein Textmodell verfügt darüber nicht.
• Kulturell sensibles Material. Lin findet bei sensitiven Intergruppenfragen positivere, abstraktere KI-vermittelte Antworten und viel weniger harte Negativität.
• Untergruppenaufschlüsselungen. 200 synthetische Befragte in sechs Zellen ergeben sechs Varianten der Mehrheitsvorgabe; Suns Ergebnis zeigt zudem ungleiche Fehler zwischen Zellen.

Womit die Kritiker recht haben

Die meistzitierten Beiträge sind kritisch – beim Mechanismus zu Recht.

Rosala und Moran von der Nielsen Norman Group argumentieren, KI-generierte „Nutzer“ könnten echte nicht ersetzen. Sie lassen nur eine enge Anwendung zu: einen Gesprächsleitfaden in einem unbekannten Feld vor echten Gesprächen zu erproben. Papangelis nennt in ACM Interactions die „synthetic persona fallacy“: den Übergang vom plausiblen Artefakt zum Stellvertreter einer Gruppe, einschließlich der Verschleierung von Verzerrungen. Chapman weist im Quant UX Blog darauf hin, dass Umfragestatistik nicht für aus einem Modell gezogene Stichproben gilt; MeasuringU kommt bei veröffentlichten Experimenten zum gleichen Schluss: Hypothesengenerierung, keine Endentscheidung.

Nicht jeder Widerstand betrifft Validität: Castelo, Bos und Lehmann zeigen, dass Algorithmen für bloß scheinbar subjektive Aufgaben unabhängig von ihrer Leistung weniger Vertrauen erhalten. Vier Kritikpunkte sind jedoch strukturell.

1. Abhängigkeit von der Formulierung. Modelle beantworten die vorgelegte Frage in der vorgelegten Form. „Würden Sie diese Funktion nutzen?“ macht die Ja-Rate zu einer Eigenschaft des Prompts. Toubias Gruppe zitiert Evidenz, wonach bereits Beschriftung und Reihenfolge der Optionen dominieren können. Bei Lin verschob eine Anweisung, nie negativ über ein Land zu antworten, in einer synthetischen Stichprobe den wichtigsten Gegner der USA von 86 % China auf 88 % Russland.

2. Abflachung der Verteilung. Synthetische Stichproben streuen zu wenig. In einer vom Sarstedt-Review erfassten Replikation zeigten sechs von vierzehn Studien einen „correct answer effect“: sehr einheitliche Antworten mit keiner oder fast keiner Variation. Lin zeigt Homogenität und abgeschnittene Ränder; Valenzuela et al. nennen den Mechanismus parametric reductionism: Wer eine Person auf wenige Parameter reduziert, verliert alles Übrige. Jede von Streuung abhängige Statistik ist ungültig.

3. Halluzinierte Spezifität. Nach Details gefragt liefern Modelle sie: eine Marke, die sie „immer“ kaufen, oder einen bezahlten Preis. Gut formuliert und erfunden. Fernandez, Berner und Shevlin generierten 2.106 synthetische Personas aus 13 Diagnoseprofilen und ließen sie sieben validierte psychiatrische Instrumente beantworten. Nur mit kurzen Beschreibungen und ohne Instrumentinhalte erzeugte das Modell diagnosespezifische Werte oberhalb klinischer Schwellen, monoton mit dem Schweregrad steigend. Kohärentes Antworten über einer Schwelle könne „can no longer serve as a proxy for authentic participation“. Gefährlich ist nicht schlecht geschriebene Fiktion, sondern Fiktion, die das validierte Instrument besteht.

4. Ein ungleiches Standard-Meinungsprofil. Trainingskorpora überrepräsentieren manche Populationen; demografisches Prompting verschiebt die Vorgabe nur teilweise. Suns Team misst, dass die Methode, die nationale Umfragen gut repliziert, je nach Untergruppe und Thema ungleich an Treue verliert. Die bekannte Kurzform – westlich, gebildet, industrialisiert, reich, demokratisch – gibt die Richtung an; die Ausgabe sagt nie, welche Zellen unzuverlässig sind.

Was die Qualität synthetischer Befragter tatsächlich bestimmt

Der entscheidende Hebel ist nicht die Modellwahl, sondern die Datenverankerung der Persona.

Ein unverankerter Prompt über „eine 34-jährige Lehrerin in Lyon“ gibt die Vorannahmen des Modells über französische Lehrerinnen zurück. Zehn davon stimmen überein, weil sie dieselbe Verteilung zehnmal ziehen. Suns konstruktiver Befund lautet: Dem Modell die Verteilung einer Gruppe statt einer Karikatur vorzugeben, brachte synthetische Antworten näher an echte Umfragen. Einstimmigkeit beschreibt das Modell, nicht den Markt.

SynthFolk richtet Personas an Daten aus dem European Social Survey und dem Eurobarometer aus – großen, dokumentierten Wahrscheinlichkeitsbefragungen – sowie an demografischen Zuordnungen und fünf europäischen Kulturregionen. Daher unterscheiden sich polnische und portugiesische Befragte entlang gemessener Dimensionen statt nach Stereotypen. Das leistet die Verankerung:

Dreimal „nein“ und zweimal „teilweise“. Verankerung unterscheidet eine manchmal nützliche Methode von einer nie nützlichen, nicht Simulation von Messung.

Wofür synthetische Forschung heute geeignet ist

Die linke Spalte entspricht Sarstedts Empfehlung für vorgelagerte Pretests und Pilotstudien. Ihr Ergebnis ist vergleichend, sodass ein Fehler den nächsten Schritt umlenkt, statt eine Entscheidung vorzugeben. SynthFolks quantitatives Modul ist dafür ausgelegt: 50 bis 250 Befragte, als Vergleiche gelesen, nicht als Schätzungen.

Wie Sie synthetische Ergebnisse an eigenen Studien validieren

Kategorien-Benchmarks sagen über Ihre Kategorie wenig aus. Golder et al.s Plädoyer für empirisch orientierte Forschung gilt auch hier: Arbeit, die sich an einem realen Phänomen und Daten orientiert und ohne theoretisches Warten belastbare Einsichten liefert.

1. Testen Sie eine vorhandene Studie rückwärts. Nehmen Sie eine reale Studie der vergangenen zwölf Monate und wiederholen Sie ihre zentrale Frage synthetisch, möglichst blind zum Ergebnis. Vergleichen Sie die Rangfolge, nicht die Zahlen. Richtungsübereinstimmung bei vertrauenswürdigen Studien ist Ihre tatsächliche Genauigkeitsrate.

2. Führen Sie eine parallele Humanstudie gegen die richtige Basislinie durch. Für eine aktuelle Entscheidung erheben Sie die synthetische Studie und ein kleines reales Panel mit denselben Quoten. Sharp, Danenberg und Bellmans PNAS-Brief ist die Warnung: Das gefeierte Ergebnis zu psychologischem Targeting testete gezielte Werbung gegen absichtlich falsch gezielte, nicht gegen ungezielte Werbung; Targeting gewann nur zwei von fünf Experimenten, ungefähr Zufall, und Kreativqualität blieb unkontrolliert. Eine schwache Basislinie erzeugt ein Ergebnis.

3. Wiederholen Sie die synthetische Seite. Wiederholen Sie die identische Studie und dann noch einmal mit anderer Reihenfolge und Paraphrasen. Das überträgt die Twin-2K-500-Logik auf Ihre Arbeit: Instabilität begrenzt die Auflösung der Methode für Ihre Frage. Tauschen A und B bei anderer Reihenfolge die Plätze, war der Unterschied nie real. Notieren Sie die Modellversion; mit Ong ist ein Re-Run auf einer neuen Version eine neue Studie.

4. Prüfen Sie Untergruppen und Streuung. Unterscheiden sich demografische Zellen so, wie Bevölkerungsdaten es erwarten lassen? Haben Verteilungen Ränder? Kollabierte Untergruppen und fehlende Ränder bedeuten, dass das Panel nicht die erwartete Arbeit leistet.

5. Bestätigen Sie die Entscheidung mit Menschen. Was überlebt, geht vor dem Launch zu echten Nutzern. Das ist nicht optional und günstiger als vorher: Der synthetische Durchlauf entfernte falsche Kandidaten und reparierte fehlerhafte Fragen.

Beginnen Sie mit Schritt 1 und 3. Sie kosten nur wenige Credits – Preise sind veröffentlicht, anders als bei den meisten Anbietern – und sagen mehr als jeder Anbieter-Benchmark.

Unser eigener Benchmark (folgt)

Wir führen eine Head-to-Head-Studie durch: eine Umfrage mit fünf Fragen, zweimal erhoben – über SynthFolks quantitatives Modul und über ein reales Panel mit passenden Quoten in einem europäischen Markt. Die Fragen sind vorregistriert und enthalten bewusst einen in der Literatur als fehleranfällig beschriebenen Typ: Preissensitivität. Wir veröffentlichen Verteilungsdeltas, Rangkorrelationen, Raten der Richtungsübereinstimmung, Untergruppendeltas, beide Kosten und die Rohdaten.

Sie existiert noch nicht. Bis sie verlinkt wird, verstehen Sie jede Behauptung auf dieser Seite als Schlussfolgerung aus der untenstehenden Literatur und unserer Betriebserfahrung, nicht als gemessenes Ergebnis.

Das ehrliche Fazit

Synthetische Forschung ergänzt, sie ersetzt nicht. Konkret verändert sie die Ökonomie von Fragen, die Sie sonst nie finanziert hätten, und verbessert die Forschung, die Sie finanzieren, indem sie Umwege vor der Feldarbeit entfernt. Sie erzeugt keine Evidenz über Menschen. Sie erzeugt einen schnellen, günstigen Prior darüber, was Menschen sagen könnten, den Sie anschließend prüfen.

Ein Team, das seine Forschung durch ein synthetisches Panel ersetzt, spart nicht Geld; es kauft eine artikulierte Maschine zur Bestätigung des bereits Geglaubten. Ein Team, das erst synthetisch und dann mit Menschen arbeitet, kann sich bessere Humanforschung leisten.

Häufig gestellte Fragen

Sind synthetische Nutzer für eine echte Entscheidung genau genug?

Für Entscheidungen, die eine Menge einengen – welche drei Konzepte weitergehen, welcher Markt zuerst erforscht wird –, ja, mit dem obigen Protokoll. Für Entscheidungen über Budget, Personal oder Launch: nein.

Können synthetische Befragte ein Panel ersetzen?

Nein, und das Framing ist das Problem. Sie ersetzen Studien, die Sie sonst gar nicht durchgeführt hätten. Wo ein Panel tatsächlich nötig ist – alles Gemessene, Regulierte, Sensible oder Verhalten –, gibt es keinen Ersatz.

Wie groß ist die Fehlermarge?

Es gibt keine. Wer eine nennt, verwendet den Begriff falsch. Eine Fehlermarge ist eine Eigenschaft von Wahrscheinlichkeitsstichproben; synthetische Befragte haben keinen Sampling Frame. Messbar sind Übereinstimmung mit früheren Ergebnissen und Stabilität bei Wiederholungen – Schritte 1 und 3.

Welche Fragetypen sollte ich nie stellen?

Exakte Preise und Zahlungsbereitschaft, ungestützte Marken- oder Werbeerinnerung, Häufigkeit vergangenen Verhaltens, alles nach dem Trainings-Cut-off, alles Stigmatisierte sowie jede Antwort, die Sie als Prozentwert zitieren wollen. Verhaltenshäufigkeit ist der klarste Fall: Tanusondjaja et al. etablierten Pareto-Verhältnisse für eine Warenhauskette aus mehr als 550 Millionen Transaktionen. Kein Prompt ersetzt das.

Wie verhält sich das zu einem minderwertigen menschlichen Panel?

Das ist der fairste und am schnellsten veränderliche Vergleich. Günstige Panels enthalten unaufmerksame Teilnehmende und Betrug, wogegen mehr Antworten teilweise helfen; synthetische Panels fügen korrelierte Verzerrung hinzu, die mehr Antworten verschlimmern, weil sie die Sicherheit um die falsche Antwort erhöhen. Beide Seiten nähern sich aber von der menschlichen Seite an: Lin berichtet, rund 34 % der Prolific-Befragten nutzten KI bei offenen Fragen, bei manchen Aufgaben auf Mechanical Turk 73 %, und ein autonomer Agent bestand 99,8 % von 6.000 Aufmerksamkeitschecks. Ein „reales Panel“ ist keine saubere Basislinie mehr.

Testen Sie das Validierungsprotokoll an Ihrer eigenen Frage. Nehmen Sie eine Studie, deren Antwort Sie bereits kennen, und wiederholen Sie sie synthetisch – eine kleine qualitative Studie kostet etwa zehn Credits, und neue Accounts starten mit genug. Öffnen Sie das Dashboard und testen Sie eine Frage rückwärts. Ob das Panel reproduziert, was Sie bereits wissen, ist der einzige Benchmark, der Sie bewegen sollte.

Literaturverzeichnis

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.