Aké presné sú syntetické odpovede? Čo ukazujú dôkazy

2026-08-13 · 16 min čítania

Syntetickí respondenti môžu pomôcť zoradiť možnosti, porovnať posolstvá a zmapovať námietky. Nedajú vám však číslo, ktoré by ste mohli obhájiť ako výsledok prieskumu. Publikované dôkazy podporujú použitie na porovnanie a určenie smeru, nie zaobchádzanie so simulovanými odpoveďami ako s prieskumnými dátami. O tom, či vám metóda pomôže alebo vás nenápadne zavedie, rozhoduje, na ktorý z týchto dvoch účelov ju používate.

Kľúčové zistenia

• Presnosť nie je jediná vec. Zhoda rozdelení, správny smer a predikcia jednotlivca sú tri rôzne kritériá. Syntetickí respondenti pri nich fungujú veľmi odlišne.
• Kritici majú pri zlyhaniach vo veľkej miere pravdu. Zdokumentovaná je závislosť od formulácie, príliš malá variabilita, vymyslené detaily aj nerovnomerné predvolené názory. Väčší model ich sám neodstráni.
• O kvalite najviac rozhoduje základ v reálnych prieskumových dátach. Väčší model bez takýchto podkladov stále len maskuje priemerný internetový názor.
• Žiadny dodávateľ vrátane nás vám nemôže dať jedno číslo validity pre vašu kategóriu. Rozhodovať by mal len benchmark porovnaný s vašimi vlastnými štúdiami.

Väčšina textov o tejto téme patrí do jedného z dvoch táborov: dodávatelia hovoria o rovnocennej náhrade, výskumníci metódu zásadne odmietajú. Tento článok pomenúva, čo treba priznať, a vysvetľuje, kedy syntetickí používatelia vytvoria výstup, podľa ktorého sa oplatí konať. Ak je pre vás téma nová, začnite článkom o tom, ako vznikajú syntetické persóny. Na tom stojí aj argument o presnosti.

Prečo sa na túto otázku ťažko odpovedá

Otázka „Sú syntetickí používatelia presní?“ sa v tejto podobe nedá zodpovedať, pretože slovo presní v sebe skrýva tri odlišné veci.

Zhoda rozdelenia odpovedí. Opakuje syntetická vzorka rozdelenie odpovedí v populácii, teda rovnaký podiel pri možnosti B alebo rovnaký priemer na škále 1 až 7? Tento najprísnejší štandard potrebujete pri odhade veľkosti trhu.

Zhoda smeru. Vyberie rovnakého víťaza, zoradí možnosti rovnako alebo sa medzi dvoma podmienkami posunie tým istým smerom? Je to slabšie kritérium, no stojí na ňom väčšina produktových rozhodnutí.

Predikcia jednotlivca. Dokáže agent vytvorený z údajov jedného človeka zopakovať odpovede tohto človeka? Ide o okrajovú otázku s malým komerčným významom, ale o rozumné meradlo. Toubia a kolegovia pri tvorbe datasetu Twin-2K-500 na Columbii v poslednej vlne zopakovali úlohy, aby mohli presnosť dvojčiat porovnať s testom a opakovaným testom, teda s tým, ako dobre ľudia opakujú vlastné odpovede. Úplná zhoda nie je cieľ, pretože ju nedosahujú ani ľudia.

Zhrnuté: dodávateľ, ktorý tvrdí vysokú presnosť, často myslí zhodu smeru. Kritik, ktorý hovorí o zlyhaní, často myslí zhodu rozdelení. Pravdu môžu mať obaja.

Čo výskum skutočne zistil

Literatúra je mladá a nevyrovnaná, ale spoľahlivejšia než marketingové tvrdenia na oboch stranách. Tabuľka ukazuje, čo výskum skúšal, nie jednoduché skóre úspechu.

Žiadna z týchto štúdií nevznikla v SynthFolku a žiadna neumožňuje všeobecne tvrdiť, že „syntetickí respondenti sú X % presní“. Presnosť závisí od typu otázky, trhu, modelu a od toho, z akých dát persóny vychádzajú. Nie je to výhovorka syntetického výskumu, ale bežná vlastnosť marketingovej vedy. Wind a Sharp pripomínajú, že aj pri zavedených zákonitostiach často nepoznáme podmienky ich zovšeobecnenia. Sarstedt a kolegovia prichádzajú k rovnakému záveru ako tento článok: kremíkové vzorky majú „osobitný prísľub v skorších fázach výskumného procesu, ako je kvalitatívne predtestovanie a pilotné štúdie“, podstatne menej však v hlavných štúdiách.

Kde sa syntetickí respondenti zhodujú s reálnymi ľuďmi

Pri hodnotení zhody smeru a pri primeranom základe v dátach:

• Zoradenie možností. Ktorá zo šiestich hodnotových propozícií funguje a ktorá nie. Relatívne úsudky lepšie odolávajú skresleniam než absolútne hodnoty.
• Široký smer postojov. Či je jeden trh citlivejší na súkromie než druhý alebo či tvrdenie pôsobí upokojujúco či prehnane. Práve tu sa Sunove agregované rozdelenia priblížili reálnym prieskumom.
• Výrazné rozdiely medzi segmentmi. Veľké, dobre zdokumentované skupiny, ako vekové pásma, mestské a vidiecke prostredie či vysoká a nízka dôvera v inštitúcie, pri ktorých je dostatok populačných údajov.
• Zoznam námietok. Čo by ľuďom mohlo zabrániť nakúpiť. Zbierate možné odpovede, nie ich frekvenciu.

Kde sa nezhodujú

Ak potrebujete zhodu rozdelení odpovedí, zlyhania sú predvídateľné:

• Cenová citlivosť v užitočnej granularite. Práve pri úlohách s ekonomickou hodnotou Sarstedtov prehľad zaznamenáva nereplikované výsledky — efekt vlastníctva, mentálne účtovníctvo a klam utopených nákladov.
• Absolútny zámer, incidencia a prognostické čísla. Veta „62 % by zmenilo značku“ znie ako údaj, nemá však vlastnosti nameraného údaja. Lin ukazuje, ako málo stačí: pridanie 10 až 52 syntetických respondentov do prieskumov so vzorkou 1 600 zmenilo vedúceho kandidáta.
• Nízkovýskytové a špecializované populácie. Podkladových dát je najmenej tam, kde je najviac v stávke, a slabý základ sa sám neprezradí.
• Spomienky na značku a reklamu a všetko po časovom reze tréningu. Výraznosť značky je podľa Romaniuka a Sharpa schopnosť značky vybaviť sa kupujúcemu v nákupnej situácii. Je to vlastnosť jeho pamäťovej siete, ktorú textový model nemá.
• Kultúrne citlivý materiál. Lin zistil, že AI-sprostredkované odpovede na citlivé otázky medzi skupinami sú pozitívnejšie a abstraktnejšie, omnoho menej často nesú tvrdú negativitu.
• Členenie na podskupiny. Ak rozdelíte 200 syntetických respondentov do šiestich buniek, môžete dostať šesť preformulovaní väčšinového predvoleného názoru. Sunov výsledok navyše hovorí, že chyba nie je vo všetkých bunkách rovnaká.

V čom majú kritici pravdu

Najcitovanejšie texty sú kritické a v popise mechanizmu majú pravdu. Rosala a Moran z Nielsen Norman Group tvrdia, že AI-generovaní „používatelia“ nemôžu nahradiť reálnych. Pripúšťajú však úzke použitie: nácvik scenára rozhovoru v neznámej oblasti pred stretnutím s účastníkmi. Papangelis v ACM Interactions pomenúva „omyl syntetickej persóny“, teda posun od vierohodného artefaktu k zástupcovi populácie, a aj pranie skreslení, keď sa dominantné hlasy tréningových dát vrátia ako hlas populácie. Chapman na Quant UX Blog upozorňuje, že štatistika prieskumov sa na vzorky z modelu nevzťahuje. Prehľad MeasuringU súhlasí: generovanie hypotéz áno, finálne rozhodnutia nie.

Nie každá výhrada sa týka validity. Castelo, Bos a Lehmann ukazujú, že ľudia menej dôverujú algoritmom pri úlohách, ktoré len pôsobia subjektívne, bez ohľadu na ich výkon. Kvalitatívny vhľad je typický príklad, preto treba skepticizmus a dôkazy posudzovať oddelene. Nasledujúce štyri výhrady sú však dané samotnou povahou metódy, nie jej dočasnými nedostatkami.

1. Závislosť od formulácie. Model odpovedá na otázku v slovách a rámci, ktoré dostal. Podiel odpovede „áno“ na otázku „Použili by ste túto funkciu?“ je preto vlastnosťou promptu. Toubiaho tím cituje prácu, podľa ktorej odpovede môžu ovplyvniť štruktúra promptu, označenie aj poradie možností. Linov príklad je ešte výraznejší: jediná inštrukcia nikdy neodpovedať negatívne o krajine zmenila v syntetickej vzorke označenie hlavného protivníka Ameriky z 86 % Čína na 88 % Rusko.

2. Zúženie rozdelenia odpovedí. Syntetické vzorky majú príliš malý rozptyl. V replikačnom úsilí zahrnutom v Sarstedtovom prehľade šesť zo štrnástich štúdií ukázalo „efekt správnej odpovede“: model odpovedal veľmi jednotne, s minimálnymi alebo žiadnymi rozdielmi. Linova homogenita a orezávanie chvostov opisujú ten istý jav z druhej strany. Valenzuela a spoluautori mechanizmus nazývajú parametrický redukcionizmus: ak človeka nahradíte niekoľkými parametrami, stratíte všetko ostatné. Každá štatistika závislá od rozptylu je preto neplatná.

3. Vymyslené detaily. Keď sa modelu spýtate na detail, dodá ho: značku, ktorú „vždy“ kupuje, alebo cenu, ktorú zaplatil. Odpoveď môže byť dobre napísaná, stále je však vymyslená. Najsilnejší dôkaz pochádza z klinického skríningu. Fernandez, Berner a Shevlin vytvorili 2 106 syntetických persón z 13 diagnostických profilov a použili ich v siedmich validovaných psychiatrických nástrojoch. Len z krátkych opisov bez obsahu nástrojov model vytvoril skóre zhodné s diagnózou nad klinickými prahmi a monotónne rastúce so závažnosťou. Autori uzatvárajú, že súdržné odpovede nad prahom „už nemôžu slúžiť ako zástupný ukazovateľ autentickej účasti“.

4. Nerovnomerné predvolené názory. Tréningové korpusy, ako tvrdí Papangelis, nadmerne zastupujú niektoré populácie a demografický prompt tento predvolený pohľad upraví iba sčasti. Sunov tím to meria: metóda, ktorá dobre zopakuje národné prieskumy, stráca mieru zhody nerovnomerne medzi podskupinami a témami, v súlade so skresleniami modelu. Bežná skratka „západný, vzdelaný, industrializovaný, bohatý, demokratický“ naznačuje smer problému. Výstup však nikdy nepovie, ktoré bunky sú nespoľahlivé.

Čo v skutočnosti určuje kvalitu syntetického respondenta

Rozhodujúci nie je výber modelu, ale dáta, na ktorých persóna stojí.

Prompt bez dátového základu, ktorý opisuje „34-ročnú učiteľku v Lyone“, vráti predstavu modelu o francúzskych učiteľkách. Desať takýchto respondentov sa zhodne, pretože ide o desať výberov z jednej distribúcie. S tým súvisí väčšina zlých skúseností so syntetickým výskumom. Konštruktívna časť Sunovho výsledku je iná: syntetické odpovede sa priblížili reálnym prieskumom, keď model dostal rozdelenie celej skupiny, nie jej karikatúru. Jednomyseľnosť hovorí o modeli, nie o trhu.

SynthFolk stavia persóny na European Social Survey a Eurobarometri, teda na veľkých zdokumentovaných pravdepodobnostných prieskumoch, a používa demografické mapovanie a päť európskych kultúrnych regiónov. Poľský a portugalský respondent sa tak líšia v nameraných dimenziách, nie podľa stereotypu. Čo to rieši:

Tri „nie“ a dve „čiastočne“. Základ v dátach odlišuje metódu, ktorá je niekedy užitočná, od metódy, ktorá užitočná nie je nikdy. Stále však nemení simuláciu na meranie.

Na čo je syntetický výskum dnes vhodný

Ľavý stĺpec zodpovedá odporúčaniu Sarstedtovho prehľadu: predtestovanie a pilotovanie v skorých fázach. Výstup má porovnávaciu funkciu. Ak sa mýli, upraví ďalší krok, namiesto aby zaviedol nesprávne rozhodnutie. Kvantitatívny modul SynthFolku je určený práve na toto: 50 až 250 respondentov treba čítať ako porovnanie, nie ako odhad.

Ako validovať syntetické výsledky na vlastných štúdiách

Benchmarky za celú kategóriu vám o vašej vlastnej kategórii povedia málo. Golder a kolegovia obhajujú empiricky orientovaný výskum: prácu založenú na reálnom fenoméne a dátach, ktorá prináša platný vhľad bez čakania na všeobecnú teóriu.

1. Otestujte spätne štúdiu, ktorú už máte. Vezmite reálny výskum z posledných dvanástich mesiacov a jeho hlavnú otázku zopakujte synteticky, ak možno bez znalosti výsledku. Porovnávajte poradie, nie čísla. Zhoda smeru pri štúdiách, ktorým dôverujete, je vaša skutočná miera presnosti.

2. Spustite jednu paralelnú štúdiu s ľuďmi a vhodnou porovnávacou skupinou. Pri jednom aktuálnom rozhodnutí zozbierajte obe verzie: syntetickú štúdiu a malý reálny panel s rovnakými kvótami. Rozhoduje porovnávacia skupina. Sharp, Danenberg a Bellman pri novom čítaní známeho výsledku psychologického cielenia ukázali, že pôvodná práca porovnávala cielené reklamy so zámerne zle cielenými, nie s necielenými reklamami. Cielenie vyhralo iba v dvoch z piatich experimentov, približne náhodou, a kvalita kreatívy nebola pod kontrolou. Slabá porovnávacia skupina vyrobí slabý výsledok.

3. Overte syntetickú časť opakovaným testom. Najprv zopakujte identickú štúdiu, potom ju spustite znova s iným poradím a parafrázovanými otázkami. Ide o logiku Twin-2K-500 použitú na vlastnú prácu: nestabilita ukazuje, aké jemné rozdiely dokáže metóda pri vašej otázke rozlíšiť. Ak sa A a B po zmene poradia vymenia, rozdiel nikdy nebol spoľahlivý. Zaznamenajte aj verziu modelu. Podľa Onga je opakovanie na novej verzii novou štúdiou.

4. Skontrolujte podskupiny a rozptyl. Líšia sa demografické skupiny tak, ako naznačujú populačné dáta? Majú rozdelenia aj okrajové hodnoty? Ak sa podskupiny zlejú a okrajové hodnoty chýbajú, panel nerobí prácu, ktorú mu pripisujete.

5. Rozhodnutie potvrďte na ľuďoch. Čokoľvek obstojí, musí pred uvedením do praxe prejsť reálnymi používateľmi. Nie je to voliteľné a teraz to stojí menej: syntetický krok vyradil slabých kandidátov a opravil chybné otázky.

Začnite krokmi 1 a 3. Stoja len niekoľko kreditov. Cenník je zverejnený, na rozdiel od väčšiny trhu, a tieto dva kroky vám povedia viac než akýkoľvek benchmark dodávateľa.

Náš vlastný benchmark (pripravujeme)

Realizujeme porovnávaciu štúdiu: jeden päťotázkový prieskum pošleme dvakrát, cez kvantitatívny modul SynthFolku a reálny panel s rovnakými kvótami na jednom európskom trhu. Otázky sú predregistrované a zámerne zahŕňajú typ, pri ktorom literatúra očakáva zlyhanie — cenovú citlivosť. Zverejníme rozdiely distribúcií, korelácie poradia, miery smerovej zhody, rozdiely podskupín, obe ceny aj surové dáta.

Zatiaľ neexistuje. Kým nebude, berte každé tvrdenie na tejto stránke ako úvahu z literatúry uvedenej nižšie a z našej prevádzkovej skúsenosti, nie ako nameraný výsledok.

Poctivý záver

Syntetický výskum je doplnkom, nie náhradou — fráza je opotrebovaná, preto konkrétne: mení ekonomiku otázok, ktoré by ste nikdy nefinancovali, a spresňuje výskum, ktorý financujete, tým, že odstráni slepé uličky pred zaplatením terénneho zberu. Nevytvára dôkazy o ľuďoch. Vytvára rýchly, lacný predbežný odhad toho, čo by ľudia mohli povedať, ktorý následne skontrolujete.

Tím, ktorý nahradí výskumnú funkciu syntetickým panelom, neušetril peniaze; kúpil si výrečný stroj na potvrdzovanie toho, čomu už veril. Tím, ktorý najprv použije syntetiku a potom ľudí, si môže dovoliť lepší ľudský výskum.

Často kladené otázky

Sú syntetickí používatelia dosť presní pre reálne rozhodnutie?

Pre rozhodnutia, ktoré zužujú výber — ktoré tri koncepty postúpiť, ktorý trh skúmať ako prvý — áno, s uvedeným protokolom. Pre rozhodnutia, ktoré viažu rozpočet, ľudí alebo uvedenie produktu, nie.

Môžu syntetickí respondenti nahradiť panel?

Nie a problém je už v tejto formulácii. Nahrádzajú štúdie, ktoré by ste vôbec nespustili. Tam, kde je panel naozaj potrebný — pri všetkom meranom, regulovanom, citlivom alebo behaviorálnom — náhrada neexistuje.

Aká je hranica chyby?

Žiadna neexistuje a dodávateľ, ktorý ju uvádza, pojem používa nesprávne. Interval chyby je vlastnosťou pravdepodobnostného vzorkovania; syntetickí respondenti nemajú vzorkovací rámec. Môžete merať iba zhodu s minulými výsledkami a stabilitu pri opakovaní — kroky 1 a 3.

Ktoré typy otázok sa nemám nikdy pýtať?

Presné ceny a ochotu platiť, spontánnu spomienku na značku alebo reklamu, frekvenciu minulého správania, čokoľvek po časovom reze tréningu, čokoľvek stigmatizované a každú odpoveď, ktorú chcete citovať ako percento. Frekvencia správania je najjasnejší prípad: Tanusondjaja a kolegovia zistili Paretove pomery pre reťazec obchodných domov z viac než 550 miliónov transakcií. Prompt ich nenahradí.

Ako sa to porovnáva s nekvalitným ľudským panelom?

Je to najspravodlivejšie porovnanie a mení sa najrýchlejšie. Lacné panely majú nepozorných respondentov a podvody, ktoré viac odpovedí čiastočne rieši; syntetické panely pridávajú korelované skreslenie, ktoré viac odpovedí zhorší tým, že sprísni istotu okolo nesprávnej odpovede. Obe strany sa však zbiehajú. Lin uvádza, že približne 34 % respondentov na Prolificu používa AI pri otvorených otázkach a pri niektorých typoch úloh to na Mechanical Turku stúpa na 73 %; autonómny agent prešiel 99,8 % zo 6 000 kontrol pozornosti určených na zachytenie nepozorných ľudí. „Reálny panel“ už nie je čistou základňou.

Spustite validačný protokol na vlastnej otázke. Vezmite štúdiu, pri ktorej už poznáte odpoveď, a zopakujte ju synteticky — malá kvalitatívna štúdia stojí približne desať kreditov a nové účty ich dostanú dosť. Otvorte dashboard a spätne otestujte jednu otázku. Jediným benchmarkom, ktorý by mal zmeniť vaše rozhodnutie, je to, či panel reprodukuje niečo, čo už viete.

Použitá literatúra

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.