Cât de preciși sunt respondenții sintetici? Ce arată studiile
Respondenții sintetici pot ajuta la ordonarea opțiunilor, compararea mesajelor și inventarierea obiecțiilor. Nu pot însă produce un număr pe care să îl puteți apăra. Studiile publicate susțin utilizarea comparativă și direcțională, nu tratarea răspunsurilor simulate ca date de sondaj. Această diferență decide dacă metoda vă ajută sau vă induce discret în eroare.
Idei-cheie
- Precizia nu înseamnă un singur lucru. Potrivirea distribuțiilor, acordul direcțional și predicția individuală sunt trei standarde diferite, iar respondenții sintetici se comportă diferit față de fiecare.
- Criticii au în mare măsură dreptate despre modurile de eșec. Dependența de formulare, varianța aplatizată, detaliile inventate și profilul inegal al opiniilor implicite sunt documentate. Un model mai mare nu le rezolvă de unul singur.
- Datele reale de sondaj sunt principalul factor al calității. Un model mai mare, fără un astfel de fundament, doar îmbracă opinia mediană a internetului într-o formă mai convingătoare.
- Niciun furnizor, inclusiv noi, nu vă poate da o cifră de validitate pentru categoria dumneavoastră. Singurul reper relevant este cel comparat cu propriile studii.
Cele mai multe texte despre subiect aparțin uneia dintre două tabere: furnizori care pretind echivalență și cercetători care resping metoda din principiu. Acest articol recunoaște ce trebuie recunoscut și explică atunci când utilizatorii sintetici pot oferi un rezultat util. Dacă subiectul este nou pentru dumneavoastră, începeți cu felul în care sunt construite personas sintetice: de aici pornește argumentul despre precizie.
De ce este greu de răspuns la această întrebare
„Sunt preciși utilizatorii sintetici?” nu are un răspuns simplu, pentru că precis poate însemna trei lucruri diferite.
Potrivirea distribuțiilor. Reproduce eșantionul sintetic distribuția răspunsurilor din populație — aceeași pondere pentru opțiunea B, aceeași medie pe o scală de la 1 la 7? Este standardul cel mai strict și cel necesar pentru dimensionarea pieței.
Acord direcțional. Alege același câștigător, ordonează opțiunile la fel și se mișcă în aceeași direcție între două condiții? Este un standard mai puțin strict, dar pe el se sprijină cele mai multe decizii de produs.
Predicție individuală. Poate un agent construit din datele unei persoane să reproducă răspunsurile acelei persoane? Este o problemă de frontieră, în mare parte nerelevantă comercial, dar cu un etalon sănătos: test–retest, adică cât de bine își reproduc oamenii propriile răspunsuri.
Un furnizor care pretinde precizie mare se referă de regulă la acord direcțional; un critic care raportează eșec se referă de regulă la potrivirea distribuției. Amândoi pot avea dreptate.
Ce a găsit de fapt cercetarea
Literatura este tânără, inegală și mai bună decât sugerează marketingul de ambele părți. Tabelul indică ce s-a încercat, nu un clasament.
| Linie de dovezi | Ce a făcut | Ce tinde să reziste | Ce nu rezistă |
|---|---|---|---|
| Analiza lui Sarstedt, Adler, Rau și Schmitt asupra eșantioanelor de siliciu (2024) | A revizuit 28 de articole cu 285 de comparații, în șapte domenii și 96 de sarcini | Trăsături de personalitate, efecte de încadrare, atitudini politice și preferințe de partid | Efectul de înzestrare, contabilitatea mentală, eroarea costurilor irecuperabile; rezultatele „variază considerabil între domenii” |
| Eșantionarea aleatoare de siliciu a lui Sun et al. (2024) | A condiționat modelul doar cu distribuții demografice de grup și l-a comparat cu sondaje americane | Distribuții agregate „remarcabil de similare cu sondajele reale de opinie publică din SUA” | Reproductibilitatea variază după grup demografic și temă, din cauza prejudecăților sociale ale modelului |
| Twin-2K-500 al lui Toubia et al. (2025) | 2.058 participanți, 500 de întrebări, patru valuri și 2,42 ore în medie | Predicția individuală și agregată promite cu fundamentare profundă per persoană | Necesită ore de interviu și chestionar pentru fiecare persoană, nu un panou comercial |
| Lucrarea lui Lin despre respondenți sintetici | A revizuit contaminarea cu AI a eșantioanelor online | Coerența internă nu mai este dovadă pentru nimic | Textul mediat de LLM este mai omogen: 45% similaritate la rezumare față de 27% la oameni |
| Analiza paradigmelor LLM a lui Ong (2024) | A separat GPT-ology, modele computaționale și eșantionare de siliciu | Paradigmele pot fi evaluate separat | Datele de antrenare invizibile și lipsa convențiilor pentru „hiperparametrii” promptului lasă reproductibilitatea nerezolvată |
Niciuna nu este un rezultat SynthFolk și niciuna nu autorizează afirmația generală că respondenții sintetici sunt X% preciși: precizia depinde de tipul întrebării, piață, model și fundamentare. Sarstedt et al. concluzionează că eșantioanele de siliciu promit mai ales în etapele din amonte, precum pretestarea calitativă și studiile-pilot, mult mai puțin în studiile principale.
Unde respondenții sintetici se potrivesc cu cei reali
Față de standardul direcțional, cu fundamentare rezonabilă:
- Ordonarea opțiunilor. Care dintre șase propuneri de valoare funcționează și care sunt moarte; judecățile relative supraviețuiesc prejudecăților pe care cele absolute nu le supraviețuiesc.
- Direcție atitudinală largă. Dacă o piață este mai anxioasă privind confidențialitatea decât alta sau dacă o afirmație liniștește ori promite excesiv.
- Diferențe grosiere între segmente. Grupe mari și bine documentate — vârstă, urban/rural, încredere instituțională ridicată/scăzută.
- Inventare de obiecții. Ce spun oamenii că i-ar opri să cumpere; colectați un set, nu măsurați frecvența lui.
Unde nu se potrivesc
Față de standardul distribuției, eșecurile sunt previzibile:
- Sensibilitatea la preț la orice granularitate utilă.
- Intenția absolută, incidența și cifrele de prognoză. „62% ar schimba” are gramatica datelor și niciuna dintre proprietățile lor.
- Populații cu incidență mică și specializate. Datele de fundamentare sunt cele mai rare tocmai unde miza este maximă.
- Reamintirea mărcii și a reclamelor, precum și orice lucru posterior datei-limită de antrenare. Un model de text nu are rețea de memorie a cumpărătorului.
- Material sensibil cultural și defalcări pe subgrupuri: aplatizarea distribuției este simultan greșită și ofensatoare.
În ce au dreptate criticii
Rosala și Moran de la Nielsen Norman Group susțin că „utilizatorii” generați de AI nu pot înlocui oamenii reali; Papangelis, în ACM Interactions, numește trecerea de la artefact plauzibil la înlocuitor al unei circumscripții „falacia personei sintetice”. Chapman de la Quant UX Blog observă că statisticile sondajelor nu se aplică eșantioanelor extrase dintr-un model; MeasuringU ajunge la aceeași concluzie: generarea de ipoteze, nu deciziile finale.
1. Dependența de formulare. Modelele răspund la întrebarea și în termenii în care o primesc. Arhitectura promptului — etichetarea și ordinea opțiunilor — poate domina răspunsurile.
2. Aplatizarea distribuției. Eșantioanele sintetice au dispersie prea mică. Șase din paisprezece studii acoperite de analiză au arătat un „efect al răspunsului corect”: răspuns aproape uniform. Orice statistică ce depinde de dispersie devine nevalidă.
3. Specificitatea halucinată. Când li se cere detaliu, modelele îl oferă: marcă „cumpărată mereu”, preț „plătit”. Este bine format și inventat. În screeningul clinic, persoane sintetice au produs scoruri compatibile cu diagnosticul peste praguri clinice; răspunsul coerent nu mai este dovadă de participare autentică.
4. Profil implicit inegal al opiniilor. Corpora de antrenare supra-reprezintă unele populații, iar promptul demografic mută implicitul doar parțial. Ieșirea nu spune niciodată ce celule sunt nesigure.
Ce determină de fapt calitatea respondenților sintetici
Pârghia decisivă nu este alegerea modelului, ci condiționarea personei. Un prompt nefundamentat despre „o profesoară de 34 de ani din Lyon” întoarce priorul modelului despre profesoare franceze; zece astfel de răspunsuri sunt aceeași distribuție eșantionată de zece ori. Introducerea distribuției unui grup, nu a unei caricaturi, a apropiat răspunsurile sintetice de sondajele reale la Sun et al. (2024). Unanimitatea este un raport despre model, nu despre piață.
SynthFolk fundamentează personajele pe European Social Survey și Eurobarometer, plus cartografiere demografică și cinci regiuni culturale europene.
| Mod de eșec | Îl rezolvă fundamentarea? |
|---|---|
| Aplatizarea distribuției | Parțial: restabilește variația între persoane, nu validează statisticile de dispersie. |
| Profil implicit inegal | Parțial, în Europa; în afara acoperirii ESS și Eurobarometer, deviația rămâne. |
| Dependența de formulare | Nu: proprietate a comportamentului modelului, gestionată prin proiectarea întrebării. |
| Specificitatea halucinată | Nu: fundamentarea constrânge atitudini, nu anecdote inventate. |
| Date rare sau evenimente după cutoff | Nu: face limita explicită, nu o elimină. |
Unde cercetarea sintetică este potrivită astăzi
| Folosiți-o pentru | Nu o folosiți pentru |
|---|---|
| Explorare timpurie și generare de ipoteze | Decizii finale go/no-go |
| Selecția ideilor și mesajelor | Cercetare de preț și disponibilitate de plată |
| Pilotarea unui ghid sau chestionar | Populații sensibile, stigmatizate ori rare |
| Preteste creative și publicitare, când ieșirea este o clasare | Fundamentarea afirmațiilor reglementate și conformitate |
| Prime treceri între piețe, pentru alocarea bugetului de teren | Orice cifră prezentată conducerii ca estimare |
| Cartografierea obiecțiilor | Uzabilitate, comportament observat, experiență trăită |
Stânga este recomandarea analizei Sarstedt: pretestare și pilotare în amonte. Modulul cantitativ SynthFolk este construit pentru aceasta: 50–250 respondenți, interpretați ca comparații, nu ca estimări.
Cum validați rezultatele sintetice pe propriile studii
1. Testați retrospectiv un studiu deja realizat. Rulați sintetic întrebarea centrală a unei cercetări reale din ultimele douăsprezece luni; comparați clasarea, nu cifrele.
2. Rulați un studiu uman paralel, cu reperul potrivit. Pentru o decizie actuală, rulați atât studiul sintetic, cât și un panou real mic pe aceleași cote. Un reper slab fabrică un rezultat.
3. Test–retest pentru partea sintetică. Reluați studiul identic, apoi cu întrebările reordonate și parafrazate. Dacă A și B se schimbă la reordonare, diferența nu a fost reală. Notați versiunea modelului: o nouă versiune înseamnă studiu nou.
4. Verificați subgrupurile și dispersia. Celulele demografice diferă cum spun datele populației? Distribuțiile au cozi?
5. Confirmați decizia cu oameni. Orice supraviețuiește merge la utilizatori reali înainte de lansare.
Începeți cu pașii 1 și 3. Costă câteva credite — prețurile sunt publicate — și spun mai mult decât orice reper de furnizor.
Reperul nostru propriu (în pregătire)
Rulăm un studiu comparativ: un sondaj cu cinci întrebări aplicat de două ori, prin modulul cantitativ SynthFolk și printr-un panou real cu cote potrivite într-o piață europeană. Întrebările sunt preînregistrate și includ deliberat sensibilitatea la preț, un tip despre care literatura spune că ar trebui să eșueze. Vom publica diferențe de distribuție, corelații de ordine, rate de acord direcțional, diferențe pe subgrupuri, ambele costuri și datele brute.
Nu există încă. Până atunci, tratați fiecare afirmație de aici ca raționament din literatura de mai jos și din experiența noastră operațională, nu ca rezultat măsurat.
Concluzia onestă
Cercetarea sintetică este un complement, nu un înlocuitor: schimbă economia întrebărilor pe care nu le-ați fi finanțat și ascute cercetarea pe care o finanțați eliminând piste greșite înainte de munca de teren. Nu produce dovezi despre oameni. Produce un prior rapid și ieftin despre ce ar putea spune oamenii, pe care îl verificați ulterior.
Întrebări frecvente
Sunt utilizatorii sintetici suficient de preciși pentru o decizie reală?
Pentru decizii care restrâng un set — ce trei idei avansează, ce piață cercetați prima — da, cu protocolul de mai sus. Pentru decizii care angajează buget, personal sau lansare, nu.
Pot înlocui respondenții sintetici un panou?
Nu. Înlocuiesc studiile pe care nu urma să le rulați deloc. Unde este cu adevărat necesar un panou — orice este măsurat, reglementat, sensibil sau comportamental — nu există substitut.
Care este marja de eroare?
Nu există. Marja de eroare este proprietatea eșantionării probabilistice; respondenții sintetici nu au cadru de eșantionare. Puteți măsura acordul cu rezultate trecute și stabilitatea între rerulări.
Ce întrebări nu ar trebui să adresez niciodată?
Prețuri exacte și disponibilitate de plată, reamintire neasistată a mărcii sau reclamei, frecvența unui comportament trecut, orice lucru după cutoff-ul de antrenare, orice este stigmatizat și orice răspuns pe care intenționați să îl citați ca procent.
Cum se compară cu un panou uman de calitate scăzută?
Panourile ieftine au respondenți neatenți și fraudă, pe care mai multe răspunsuri le pot corecta parțial; panourile sintetice adaugă prejudecată corelată, pe care mai multe răspunsuri o agravează prin strângerea încrederii în jurul răspunsului greșit. Un „panou real” nu mai este însă o bază curată: Lin raportează folosirea AI la răspunsuri deschise de circa 34% dintre respondenții Prolific și până la 73% pe Mechanical Turk, în funcție de sarcină.
Rulați protocolul de validare pe propria întrebare. Luați un studiu al cărui răspuns îl știți deja și reluați-l sintetic. Deschideți tabloul de bord și testați retrospectiv o întrebare: dacă panoul reproduce ce știți este singurul reper care ar trebui să vă schimbe decizia.
Bibliografie
Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.
Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data
European Social Survey. https://www.europeansocialsurvey.org/
Eurobarometer, European Commission. https://europa.eu/eurobarometer/
Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.
Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.
Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.
Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.
MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/
Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.
Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research
Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.
Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/
Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.
Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.
Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.
Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.
Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.
Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.
Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.