Hoe nauwkeurig zijn synthetische respondenten? Wat het bewijs werkelijk zegt

2026-08-13 · 18 min leestijd

Synthetische respondenten zijn nauwkeurig genoeg om opties te rangschikken, boodschappen te vergelijken en bezwaren in kaart te brengen, maar niet om een verdedigbaar cijfer op te leveren. Het gepubliceerde bewijs ondersteunt richtinggevende en vergelijkende toepassingen, niet het behandelen van gesimuleerde antwoorden als enquêtedata. Welke van beide toepassingen u kiest, bepaalt of de methode helpt of u stilletjes misleidt.

Kernpunten

• Nauwkeurigheid is niet één ding. Overeenstemming van verdelingen, richtingsovereenstemming en individuele voorspelling zijn drie maatstaven, en synthetische respondenten presteren er zeer verschillend op.
• De critici hebben grotendeels gelijk over de faalwijzen. Afhankelijkheid van de formulering, afgevlakte variantie, gehallucineerde specificiteit en een ongelijk standaardopinieprofiel zijn gedocumenteerd; geen groter model lost ze op.
• Verankering in echte enquêtedata is de belangrijkste kwaliteitshefboom — een groter model zonder verankering geeft nog steeds de mediane internetmening in kostuum terug.
• Geen leverancier, ook wij niet, kan een validiteitscijfer voor uw categorie geven. De enige benchmark die uw beslissingen moet sturen, is er een die u tegen uw eigen studies draait.

De meeste teksten hierover volgen twee patronen: leveranciers die gelijkwaardigheid claimen en onderzoekers die de methode principieel onrechtmatig noemen. Dit artikel benoemt wat moet worden toegegeven en legt uit wanneer synthetische gebruikers bruikbare resultaten opleveren. Is de categorie nieuw, begin dan met hoe synthetische persona's worden gebouwd — daarop rust het argument over nauwkeurigheid.

Waarom deze vraag moeilijk te beantwoorden is

"Zijn synthetische gebruikers nauwkeurig?" is zo gesteld niet te beantwoorden, omdat nauwkeurig stilzwijgend drie onverenigbare dingen kan betekenen.

Overeenstemming van verdelingen. Reproduceert de synthetische steekproef de antwoordverdeling van de populatie — hetzelfde aandeel dat optie B kiest, hetzelfde gemiddelde op een schaal van 1 tot 7? Dit is de strengste norm, en de norm die nodig is voor marktomvang.

Richtingsovereenstemming. Kiest zij dezelfde winnaar, rangschikt zij opties hetzelfde en beweegt zij in dezelfde richting tussen twee condities? Dit is een zwakkere norm, maar wel een waarop de meeste productbeslissingen rusten.

Individuele voorspelling. Kan een agent die uit de data van één persoon is gebouwd de antwoorden van die persoon reproduceren? Dit is vooral een onderzoeksvraag en commercieel grotendeels irrelevant, maar wel de enige met een verstandige maatlat. Toubia en collega's herhaalden bij de bouw van hun Twin-2K-500-dataset aan Columbia taken in een laatste enquêtegolf, zodat de nauwkeurigheid van twins kon worden vergeleken met test-hertest: hoe goed mensen hun eigen antwoorden reproduceren. Perfecte overeenstemming is niet het doel, omdat mensen die zelf niet halen.

Een leverancier die hoge nauwkeurigheid claimt, bedoelt meestal richtingsovereenstemming; een criticus die falen rapporteert, bedoelt meestal overeenstemming van verdelingen. Beide kunnen gelijk hebben.

Wat het onderzoek werkelijk vond

De literatuur is jong, ongelijkmatig en beter dan de marketing aan beide kanten suggereert. De tabel brengt in kaart wat is onderzocht, geen scorebord.

Geen van deze resultaten is van SynthFolk, en geen ervan rechtvaardigt een algemene claim dat "synthetische respondenten X% nauwkeurig zijn" — nauwkeurigheid hangt af van vraagtype, markt, model en verankering. Die voorwaardelijkheid is een uitgangspunt van de marketingwetenschap, geen excuus voor synthetisch onderzoek: Wind en Sharp merken bij hun overzicht van empirische generalisaties in reclame op dat zelfs gevestigde wetten beperkt generaliseren als de omstandigheden onvoldoende bekend zijn. Sarstedt en collega's komen uit waar dit artikel uitkomt: silicon samples "houden bijzondere belofte in voor stroomopwaartse delen van het onderzoeksproces zoals kwalitatieve pretesting en pilotstudies", veel minder voor hoofdstudies.

Waar synthetische respondenten echte volgen

Tegen de richtinggevende norm, met redelijke verankering:

• Rangordening van opties. Welke van zes waardeproposities aanslaan en welke dood zijn. Relatieve oordelen overleven vertekening die absolute oordelen niet overleven.
• Brede attitudinale richting. Of de ene markt bezorgder is over privacy dan de andere; of een claim geruststellend of overdreven leest. Het register waarin Suns geaggregeerde verdelingen dicht bij echte peilingen uitkwamen.
• Grove segmentverschillen. Grote, goed gedocumenteerde groepen — leeftijdsbanden, stedelijk en landelijk, hoog en laag institutioneel vertrouwen — waar populatiedata rijk zijn.
• Inventarissen van bezwaren. Wat mensen zeggen dat hen van kopen zou weerhouden. U verzamelt een set, niet de frequentie ervan.

Waar zij dat niet doen

Tegen de verdelingsnorm zijn de mislukkingen vooraf voorspelbaar:

• Prijsgevoeligheid op elke bruikbare granulariteit. Economische-waardetaken zijn precies waar de review van Sarstedt replicatiefalen vastlegt — endowment effect, mental accounting, sunk-cost fallacy.
• Absolute intentie-, incidentie- en prognosecijfers. "62% zou overstappen" heeft de vorm van data, maar niet de eigenschappen ervan. Lin laat zien hoe weinig nodig is om zo'n getal te verschuiven: het invoegen van 10 tot 52 synthetische respondenten in peilingsteekproeven van 1.600 keerde de koppositie van een kandidaat om.
• Laag-incidentie- en specialistische populaties. Verankeringsdata zijn het dunst waar de inzet het hoogst is, en dunne verankering kondigt zichzelf niet aan.
• Merk- en reclameherinnering, en alles na de trainingsgrens. Saillantie is voor Romaniuk en Sharp de neiging van een merk om in een koopsituatie in gedachten te komen — een eigenschap van het geheugennetwerk van een koper — en de replicatie van Macdonald en Sharp laat zien dat bekendheid bij echte keuzes als duurzame heuristiek werkt. Een tekstmodel beschikt over geen van beide.
• Cultureel gevoelig materiaal. Lin vindt AI-bemiddelde antwoorden op gevoelige intergroepsvragen positiever en abstracter, veel minder vaak scherp negatief — afvlakking wordt zowel aanstootgevend als fout.
• Uitsplitsingen naar subgroepen. Tweehonderd synthetische respondenten in zes cellen knippen levert zes herhalingen van de meerderheidsstandaard op, en Suns resultaat zegt dat de fout niet eens gelijk over de cellen ligt.

Waar de critici gelijk in hebben

De meest aangehaalde stukken zijn kritisch, en over het mechanisme hebben ze gelijk.

Rosala en Moran van de Nielsen Norman Group betogen dat door AI gegenereerde "gebruikers" echte niet kunnen vervangen, met één smalle concessie: een interviewleidraad oefenen in een onbekend domein vóór u echte deelnemers ontmoet. Papangelis noemt in ACM Interactions de "synthetic persona fallacy" — de stap van plausibel artefact naar stand-in voor een achterban — plus een probleem van bias-witwassen, waarin dominante stemmen uit trainingsdata als populatie terugkomen. Chapman merkt op de Quant UX Blog op dat enquêtestatistiek niet geldt voor steekproeven uit een model, en de review van gepubliceerde experimenten van MeasuringU is het eens: hypothesegeneratie, geen eindbeslissingen.

Niet alle weerstand gaat over validiteit — Castelo, Bos en Lehmann tonen dat algoritmen minder worden vertrouwd bij taken die slechts subjectief lijken, ongeacht hun prestaties, en kwalitatief inzicht is het archetype — dus scepsis en bewijs moeten afzonderlijk worden beargumenteerd. Vier kritieken zijn echter structureel, geen kinderziekten.

1. Afhankelijkheid van framing. Modellen beantwoorden de vraag die hun wordt voorgelegd, in de termen waarin die is voorgelegd. Vraag "zou u deze functie gebruiken?" en het basispercentage ja is een eigenschap van de prompt. De groep van Toubia citeert werk waaruit blijkt dat antwoorden kunnen worden gedomineerd door promptarchitectuur — alleen label en volgorde van opties. Lins geval is scherper: één instructie om nooit negatief over een land te antwoorden verschoof de identificatie door een synthetische steekproef van Amerika's primaire tegenstander van 86% China naar 88% Rusland.

2. Afvlakking van verdelingen. Synthetische steekproeven hebben te weinig spreiding. In een replicatie-inspanning die de review van Sarstedt omvat, lieten zes van veertien studies een "correct answer effect" zien — het model antwoordde zeer uniform met geen of bijna geen variatie. Lins bevindingen over homogeniteit en het afkappen van staarten tonen dezelfde vorm van de andere kant, en Valenzuela en co-auteurs noemen het mechanisme parametrisch reductionisme: een persoon door enkele parameters representeren en alles verliezen wat zij niet dragen. Elke statistiek die van spreiding afhangt, is ongeldig.

3. Gehallucineerde specificiteit. Gevraagd om detail leveren modellen het: een merk dat ze "altijd" kopen, een betaalde prijs. Goed gevormd en verzonnen. Het scherpste bewijs komt uit klinische screening. Fernandez, Berner en Shevlin genereerden 2.106 synthetische persona's uit 13 diagnostische profielen en legden ze zeven gevalideerde psychiatrische instrumenten voor. Met slechts korte beschrijvingen en zonder instrumentinhoud in de prompts produceerde het model diagnosecongruente scores boven klinische afkapwaarden, die monotone opschaalden met ernst. Samenhangend antwoorden boven een drempel kan, concluderen zij, "niet langer als proxy voor authentieke deelname dienen". Het gevaar is geen fictie met slechte grammatica, maar fictie die door het gevalideerde instrument komt.

4. Een ongelijk standaardopinieprofiel. Trainingscorpora vertegenwoordigen sommige populaties te sterk, zoals Papangelis betoogt, en demografisch prompten verschuift de standaard slechts gedeeltelijk. Suns team meet het: de methode die nationale peilingen goed reproduceert, verliest getrouwheid ongelijkmatig tussen subgroepen en onderwerpen, in lijn met vertekeningen die in het model zitten. De bekende afkorting — westers, opgeleid, geïndustrialiseerd, rijk, democratisch — geeft de richting; het probleem is dat output nooit vertelt welke cellen onbetrouwbaar zijn.

Wat de kwaliteit van synthetische respondenten werkelijk bepaalt

De beslissende hefboom is niet de modelkeuze. Het is waarop de persona is geconditioneerd.

Een niet-verankerde prompt over "een 34-jarige lerares in Lyon" geeft de prior van het model over Franse leraressen terug. Tien ervan zijn het eens, omdat het één verdeling is die tienmaal wordt getrokken, en de meeste slechte ervaringen met synthetisch onderzoek ervaringen met die opzet zijn. Suns resultaat is de constructieve helft: een model de verdeling van een groep voeren in plaats van een karikatuur bracht synthetische antwoorden dicht bij echte peilingen. Unanimiteit is een rapport over het model, niet de markt.

SynthFolk conditioneert persona's op de European Social Survey en Eurobarometer — grote, gedocumenteerde kanssteekproeven — plus demografische mapping en vijf Europese cultuurregio's, zodat een Poolse en een Portugese respondent op gemeten dimensies verschillen, niet door stereotype. Wat dat oplost:

Drie keer "nee" en twee keer "deels". Verankering maakt het verschil tussen een methode die soms nuttig is en een die dat nooit is — niet tussen simulatie en meting.

Waar synthetisch onderzoek vandaag geschikt voor is

De linkerkolom is de eigen aanbeveling van de review van Sarstedt — stroomopwaartse pretesting en pilots — en de output is vergelijkend, zodat een fout een volgende stap omleidt in plaats van een beslissing te verschepen. De kwantitatieve module van SynthFolk is voor die kolom gebouwd: 50 tot 250 respondenten, gelezen als vergelijkingen, niet als schattingen.

Hoe u synthetische resultaten op uw eigen studies valideert

Benchmarks op categorieniveau vertellen u weinig over uw categorie. Het pleidooi van Golder en collega's voor empirics-first onderzoek geldt hier: werk dat in een werkelijk verschijnsel is verankerd, data gebruikt en geldig inzicht oplevert zonder op theorie te wachten.

1. Doe een back-test van een studie die u al uitvoerde. Neem echt onderzoek uit de afgelopen twaalf maanden en draai de centrale vraag synthetisch opnieuw, zo mogelijk blind voor de uitkomst. Vergelijk de rangorde, niet de cijfers. Richtingsovereenstemming op studies die u vertrouwt is uw werkelijke nauwkeurigheid.

2. Voer één parallelle menselijke studie uit, tegen de juiste basislijn. Voor één actuele beslissing voert u beide uit: de synthetische studie en een klein echt panel op dezelfde quota. De basislijn maakt of breekt dit. De PNAS-brief van Sharp, Danenberg en Bellman is de waarschuwing: bij herlezing van een gevierd resultaat over psychologische targeting laten zij zien dat het origineel gerichte advertenties testte tegen doelbewust verkeerd gerichte advertenties, niet tegen ongerichte reclame, dat targeting slechts twee van vijf experimenten won — ongeveer wat toeval voorspelt — en dat creatiekwaliteit ongecontroleerd bleef. Een zwakke basislijn fabriceert een resultaat.

3. Test-hertest de synthetische kant. Draai de identieke studie opnieuw, en daarna nog eens met vragen herschikt en geparafraseerd. Dit is de Twin-2K-500-logica op uw eigen werk: instabiliteit begrenst de resolutie die de methode voor uw vraag heeft. Wisselen A en B bij een andere volgorde, dan was het verschil nooit echt. Noteer de modelversie — in Ongs punt is een herhaling op een nieuwe versie een nieuwe studie.

4. Controleer subgroepen en spreiding. Verschillen demografische cellen zoals populatiedata zeggen dat ze zouden moeten? Hebben verdelingen staarten? Ingeklapte subgroepen en ontbrekende staarten betekenen dat het panel niet doet wat u denkt.

5. Bevestig de beslissing met mensen. Wat overeind blijft, gaat naar echte gebruikers voordat het wordt uitgerold. Niet optioneel, en goedkoper dan voorheen: de synthetische doorgang verwijderde de verkeerde kandidaten en herstelde de kapotte vragen.

Begin met stappen 1 en 3. Zij kosten een handvol credits — prijzen zijn gepubliceerd, anders dan bij het grootste deel van deze markt — en vertellen u meer dan welke leveranciersbenchmark ook.

Onze eigen benchmark (binnenkort)

We voeren een head-to-headstudie uit: één enquête met vijf vragen die tweemaal wordt uitgezet, via de kwantitatieve module van SynthFolk en een echt panel met gelijke quota in één Europese markt. Vragen worden vooraf geregistreerd en bevatten bewust een type waarvan de literatuur zegt dat het moet falen — prijsgevoeligheid. We publiceren verdelingsdelta's, rangorde-correlaties, percentages richtingsovereenstemming, subgroepdelta's, beide kostencijfers en de ruwe data.

Hij bestaat nog niet. Zodra hij bestaat, wordt hij hier gekoppeld. Behandel tot die tijd elke claim op deze pagina als redenering uit de hieronder genoemde literatuur en onze operationele ervaring, niet als gemeten resultaat.

De eerlijke conclusie

Synthetisch onderzoek is een aanvulling, geen vervanging — een versleten frase, dus concreet: het verandert de economie van vragen die u nooit zou hebben gefinancierd en scherpt het onderzoek aan dat u wel financiert door dwaalsporen weg te nemen voordat u voor veldwerk betaalt. Het levert geen bewijs over mensen. Het levert een snelle, goedkope prior over wat mensen zouden kunnen zeggen, die u vervolgens controleert.

Een team dat zijn onderzoeksfunctie door een synthetisch panel vervangt, heeft geen geld bespaard; het heeft een welbespraakte machine gekocht om te bevestigen wat het al geloofde. Een team dat synthetisch eerst en menselijk tweede uitvoert, kan zich beter menselijk onderzoek veroorloven.

Veelgestelde vragen

Zijn synthetische gebruikers nauwkeurig genoeg voor een echte beslissing?

Voor beslissingen die een set verkleinen — welke drie concepten doorgaan, welke markt eerst te onderzoeken — ja, met het protocol hierboven. Voor beslissingen die budget, formatie of een lancering vastleggen: nee.

Kunnen synthetische respondenten een panel vervangen?

Nee, en de framing is het probleem. Zij vervangen studies die u überhaupt niet zou uitvoeren. Waar een panel echt vereist is — alles wat gemeten, gereguleerd, gevoelig of gedragsmatig is — bestaat geen vervanging.

Wat is de foutmarge?

Die is er niet, en elke leverancier die er een noemt gebruikt de term verkeerd. Een foutmarge is een eigenschap van kanssteekproeven; synthetische respondenten hebben geen steekproefkader. Wat u kunt meten is overeenstemming met eerdere resultaten en stabiliteit tussen herhalingen — stappen 1 en 3.

Welke vraagtypen moet ik nooit stellen?

Exacte prijzen en betalingsbereidheid, spontane merk- of reclameherinnering, frequentie van gedrag in het verleden, alles na de trainingsgrens, alles wat stigmatiserend is, en elk antwoord dat u als percentage wilt citeren. Gedragsfrequentie is het duidelijkste geval: Tanusondjaja en collega's stelden Paretoverhoudingen voor een warenhuisketen vast uit meer dan 550 miljoen transacties. Geen prompt vervangt dat.

Hoe verhoudt dit zich tot een menselijk panel van lage kwaliteit?

De eerlijkste vergelijking, en degene die het snelst verandert. Goedkope panels dragen onoplettende respondenten en fraude, die meer antwoorden deels genezen; synthetische panels voegen gecorreleerde vertekening toe, die meer antwoorden verergeren doordat zij het vertrouwen rond het verkeerde antwoord aanscherpen. Maar beide naderen elkaar vanaf de menselijke kant. Lin rapporteert dat ongeveer 34% van Prolific-respondenten zegt AI te gebruiken bij open vragen, oplopend tot 73% op Mechanical Turk voor sommige taaktypen, en dat een autonome agent 99,8% van 6.000 aandachtschecks doorstond die achteloze mensen moesten vangen. Een "echt panel" is niet langer een schone basislijn.

Draai het validatieprotocol op uw eigen vraag. Neem een studie waarvan u het antwoord al kent en draai hem synthetisch opnieuw — een kleine kwalitatieve studie kost ongeveer tien credits en nieuwe accounts beginnen met genoeg. Open het dashboard en doe een back-test van één vraag. Of het panel reproduceert wat u al weet, is de enige benchmark die uw beslissing moet bewegen.

Literatuurlijst

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.