Jak přesní jsou syntetičtí respondenti? Co skutečně ukazují důkazy

2026-08-13 · 17 min čtení

Syntetičtí respondenti jsou dostatečně přesní pro řazení variant, porovnávání sdělení a mapování námitek. Nejsou však dostatečně přesní na to, aby poskytli obhajitelné číslo. Publikované důkazy podporují směrové a porovnávací využití, nikoli zacházení se simulovanými odpověďmi jako s daty z průzkumu. Právě to, kterou z těchto dvou věcí děláte, rozhoduje, zda vám metoda pomůže, nebo vás nenápadně svede na scestí.

Klíčová zjištění

• Přesnost není jedna věc. Shoda distribuce, směrová shoda a individuální predikce jsou tři různé standardy a syntetičtí respondenti na každém fungují velmi odlišně.
• Kritici mají v podstatě pravdu ohledně způsobů selhání. Závislost na formulaci, zploštělý rozptyl, halucinovaná konkrétnost a nerovnoměrný výchozí profil názorů jsou doložené a žádný větší model je sám nevyřeší.
• Ukotvení v reálných datech z průzkumů je hlavním zdrojem kvality — větší model bez ukotvení stále jen vrací převlečený mediánový názor internetu.
• Žádný dodavatel včetně nás vám nemůže dát číslo validity pro vaši kategorii. Jediný benchmark, který má řídit vaše rozhodnutí, je ten, který si sami spustíte proti vlastním studiím.

Většina textů o tématu volí jeden ze dvou tónů: dodavatelé mluví o rovnocenné náhradě, zatímco výzkumníci metodu principiálně odmítají. Tento článek otevřeně pojmenovává její limity a ukazuje, kdy syntetičtí uživatelé poskytují výstup, podle něhož má smysl postupovat. Pokud se s touto kategorií teprve seznamujete, začněte u toho, jak vznikají syntetické persony — na jejich konstrukci stojí i argument o přesnosti.

Proč je na tuto otázku těžké odpovědět

Otázku „Jsou syntetičtí uživatelé přesní?“ v této podobě nelze zodpovědět, protože slovo přesní v ní nepozorovaně označuje tři neslučitelné věci.

Shoda distribuce. Reprodukuje syntetický vzorek rozdělení odpovědí v populaci — stejný podíl, který volí variantu B, stejný průměr na škále 1–7? Jde o nejpřísnější standard, který potřebujete pro odhad velikosti trhu.

Směrová shoda. Vybere stejného vítěze, seřadí varianty stejně a ukáže mezi dvěma podmínkami stejný směr změny? Je to méně přísný standard, na němž stojí většina produktových rozhodnutí.

Individuální predikce. Dokáže agent postavený z dat jednoho člověka reprodukovat odpovědi tohoto konkrétního člověka? Jde o hranici výzkumu, která je pro komerční použití většinou nepodstatná, ale nabízí smysluplné měřítko. Toubia a kolegové při budování datové sady Twin-2K-500 na Columbii zopakovali úlohy v poslední vlně průzkumu, aby mohli přesnost dvojčat posoudit vůči spolehlivosti test–retest: tedy tomu, jak dobře lidé reprodukují vlastní odpovědi. Dokonalá shoda není cílem, protože jí nedosahují ani lidé.

Dodavatel, který tvrdí vysokou přesnost, obvykle mluví o směrové shodě; kritik, který hlásí selhání, obvykle mluví o shodě distribuce. Oba mohou mít pravdu.

Co výzkum skutečně zjistil

Literatura je mladá, nerovnoměrná a nabízí víc než marketing na obou stranách naznačuje. Tabulka zachycuje, co už bylo ověřeno, nikoli žebříček výsledků.

Žádné z těchto zjištění nepochází od SynthFolku a žádné neopravňuje k obecnému tvrzení, že „syntetičtí respondenti jsou X % přesní“ — přesnost závisí na typu otázky, trhu, modelu i ukotvení. Tato podmíněnost není výmluvou syntetického výzkumu, ale součástí marketingové vědy: Wind a Sharp při přehledu empirických zobecnění v reklamě upozorňují, že i zavedené zákonitosti narážejí na nedostatečnou znalost podmínek, za nichž je lze zobecňovat. Sarstedt a kolegové docházejí ke stejnému závěru jako tento článek: křemíkové vzorky „slibují zvlášť mnoho v počátečních částech výzkumného procesu, jako je kvalitativní předtestování a pilotní studie“, a výrazně méně v hlavních studiích.

Kde se syntetičtí respondenti shodují s reálnými

Při směrovém standardu a s rozumným ukotvením:

• Řazení variant. Která ze šesti hodnotových propozic funguje a která ne. Relativní soudy snášejí zkreslení, která absolutní soudy neunesou.
• Obecný směr postojů. Zda má jeden trh větší obavy o soukromí než druhý; zda sdělení působí uklidňujícím dojmem, nebo přehnaně. Právě v tomto ohledu se Sunovy agregované distribuce přiblížily reálným průzkumům.
• Hrubé rozdíly mezi segmenty. Velké, dobře zdokumentované skupiny — věkové pásmo, město a venkov, vysoká a nízká důvěra v instituce — kde jsou populační data bohatá.
• Inventáře námitek. Co by lidem podle jejich slov zabránilo nakoupit. Sbíráte soubor možností, neodhadujete jejich četnost.

Kde ne

Při standardu shody distribuce jsou selhání předvídatelná předem:

• Cenová citlivost v jakémkoli užitečném rozlišení. Úlohy ekonomické hodnoty jsou přesně tam, kde přehled Sarstedta zaznamenává nereplikovatelná zjištění — efekt vlastnictví, mentální účetnictví, klam utopených nákladů.
• Absolutní záměr, incidence a prognostická čísla. „62 % by přešlo" má gramatiku dat a žádnou z jejich vlastností. Lin ukazuje, jak málo stačí k pohybu takového údaje: vložení 10 až 52 syntetických respondentů do volebních vzorků o 1 600 lidech změnilo, který kandidát vedl.
• Málo četné a specializované populace. Ukotvující data jsou nejtenčí právě tam, kde jsou sázky nejvyšší, a slabé ukotvení se samo neohlásí.
• Vybavení značky a reklamy a cokoli po datu ukončení trénování. Salience je podle Romaniuka a Sharpa sklon vybavit si značku v nákupní situaci — vlastnost paměťové sítě kupujícího — a replikace Macdonalda a Sharpa ukazuje, že znalost značky slouží jako trvalá heuristika při skutečné volbě. Textový model nemá ani jedno.
• Kulturně citlivý materiál. Lin zjišťuje, že odpovědi zprostředkované AI na citlivé meziskupinové otázky jsou pozitivnější a abstraktnější, výrazně méně často nesou tvrdou negativitu — zploštění je pak nejen chybné, ale i urážlivé.
• Rozpady podle podskupin. Rozdělení 200 syntetických respondentů do šesti buněk vytvoří šest přeformulování většinového výchozího nastavení a Sunův výsledek říká, že chyba se mezi nimi ani nerozděluje rovnoměrně.

V čem mají kritici pravdu

Nejcitovanější texty na toto téma jsou kritické a v popisu mechanismu mají pravdu.

Rosala a Moran z Nielsen Norman Group tvrdí, že AI generovaní „uživatelé" nemohou nahradit reálné lidi, a připouštějí jedno úzké použití: nácvik scénáře rozhovoru v neznámé doméně před setkáním se skutečnými účastníky. Papangelis v ACM Interactions pojmenovává „klam syntetické persony" — posun od věrohodného artefaktu k náhradě celé skupiny — a problém praní zkreslení, při němž se dominantní hlasy trénovacích dat vracejí jako populace. Chapman na Quant UX Blog upozorňuje, že statistiky průzkumů se nevztahují na vzorky vytažené z modelu, a přehled publikovaných experimentů na MeasuringU souhlasí: generování hypotéz, ne finální rozhodnutí.

Ne každá výhrada se týká validity — Castelo, Bos a Lehmann ukazují, že lidé algoritmům méně důvěřují u úloh, které jen působí subjektivně, bez ohledu na jejich výkon; kvalitativní vhled je jejich typickým příkladem. Skepsi a důkazy je proto potřeba posuzovat odděleně. Následující čtyři kritiky jsou však strukturální, ne jen přechodné nedostatky.

1. Závislost na formulaci. Modely odpovídají na otázku, kterou dostanou, v pojmech, v nichž ji dostanou. Zeptejte se „použili byste tuto funkci?" a výchozí míra odpovědi ano je vlastností promptu. Toubiaho skupina cituje práci ukazující, že odpovědi může ovládnout architektura promptu — samotné popisky a pořadí variant. Linův případ je ještě názornější: jediná instrukce nikdy neodpovídat negativně o zemi posunula určení hlavního protivníka Ameriky v syntetickém vzorku z 86 % pro Čínu na 88 % pro Rusko.

2. Zploštění distribuce. Syntetické vzorky mají příliš malý rozptyl. V replikaci zahrnuté v Sarstedtově přehledu vykázalo šest ze čtrnácti studií „efekt správné odpovědi“ — model odpovídal velmi jednotně, bez rozptylu nebo téměř bez něj. Linovy poznatky o homogenitě a useknutých koncích distribuce ukazují stejný problém z druhé strany a Valenzuela a spoluautoři pojmenovávají mechanismus: parametrický redukcionismus, tedy reprezentování člověka několika parametry se ztrátou všeho, co tyto parametry nenesou. Každá statistika závislá na rozptylu je pak neplatná.

3. Halucinovaná konkrétnost. Když se modelu zeptáte na detail, dodá jej: značku, kterou „vždy“ kupuje, cenu, kterou zaplatil. Odpověď je dobře formulovaná, ale vymyšlená. Nejpřesvědčivější důkaz pochází z klinického screeningu. Fernandez, Berner a Shevlin vygenerovali 2 106 syntetických person ze 13 diagnostických profilů a nechali je projít sedmi validovanými psychiatrickými nástroji. Při zadání pouze stručných popisů a bez obsahu nástrojů v promptech vytvořil model skóre odpovídající diagnóze nad klinickými prahy, které se se závažností monotónně škálovalo. Konzistentní odpovídání nad prahem podle autorů „už nemůže sloužit jako zástupný ukazatel autentické účasti“. Nebezpečná není fikce se špatnou gramatikou, ale fikce, která projde validovaným nástrojem.

4. Nerovnoměrný výchozí profil názorů. Trénovací korpusy nadměrně zastupují některé populace, jak tvrdí Papangelis, a demografické promptování výchozí profil posune jen částečně. Sunův tým to měří: metoda, která dobře reprodukuje národní průzkumy, ztrácí věrnost nerovnoměrně mezi podskupinami a tématy podle zkreslení obsažených v modelu. Známá zkratka — západní, vzdělaní, industrializovaní, bohatí, demokratičtí — naznačuje směr; problém je, že výstup nikdy neřekne, které buňky jsou nespolehlivé.

Co skutečně určuje kvalitu syntetických respondentů

Rozhodující není volba modelu, ale to, čím je persona ukotvena.

Neukotvený prompt popisující „34letou učitelku z Lyonu“ vrátí představu modelu o francouzských učitelkách. Deset takových person bude souhlasit, protože jde o jednu distribuci vzorkovanou desetkrát; z tohoto nastavení také pochází většina špatných zkušeností se syntetickým výzkumem. Sunův výsledek nabízí konstruktivní protipól: když model dostal distribuci skupiny místo karikatury, syntetické odpovědi se přiblížily reálným průzkumům. Jednomyslnost vypovídá o modelu, ne o trhu.

SynthFolk podmiňuje persony daty z European Social Survey a Eurobarometru — velkých, zdokumentovaných pravděpodobnostních průzkumů — spolu s demografickým mapováním a pěti evropskými kulturními regiony, takže se polský a portugalský respondent liší v naměřených dimenzích, ne ve stereotypech. Co to napravuje:

Třikrát „ne“ a dvakrát „částečně“. Ukotvení odlišuje metodu, která je někdy užitečná, od metody, která není užitečná nikdy. Neodstraňuje však rozdíl mezi simulací a měřením.

Kde je syntetický výzkum dnes vhodný

Levá strana tabulky odpovídá doporučení Sarstedtova přehledu — předtestování a pilotování v počáteční fázi. Její výstup je porovnávací, takže případný omyl změní další krok místo toho, aby ovlivnil samotné rozhodnutí. Kvantitativní modul SynthFolku je určen právě pro tento sloupec: pracuje s 50 až 250 respondenty a výsledky je třeba číst jako porovnání, ne jako odhady.

Jak validovat syntetické výsledky na vlastních studiích

Oborové benchmarky vám o vlastní kategorii řeknou jen málo. Argument Goldera a kolegů pro výzkum založený nejprve na empirii platí i zde: práce ukotvená v reálném jevu, která pracuje s daty a přináší platný vhled bez čekání na teorii.

1. Zpětně otestujte studii, kterou jste už provedli. Vezměte reálný výzkum z posledních dvanácti měsíců a synteticky zopakujte jeho ústřední otázku, pokud to jde naslepo vůči výsledku. Porovnávejte pořadí, ne čísla. Směrová shoda u studií, kterým věříte, je vaše skutečná míra přesnosti.

2. Proveďte jednu paralelní studii s lidmi a vhodnou srovnávací základnou. U jednoho aktuálního rozhodnutí realizujte obě varianty: syntetickou studii i malý reálný panel se stejnými kvótami. Na srovnávací základně záleží. Dopis Sharpa, Danenberga a Bellmana v PNAS je varovným případem: při novém čtení oslavovaného výsledku psychologického cílení ukazují, že původní studie srovnávala cílenou reklamu se záměrně špatně cílenou reklamou, nikoli s necílenou reklamou; cílení zvítězilo jen ve dvou z pěti experimentů — přibližně tolik, kolik předpovídá náhoda — a kvalita kreativy zůstala bez kontroly. Nevhodná srovnávací základna vyrobí zavádějící výsledek.

3. Ověřte syntetickou část testem–retestem. Spusťte tutéž studii znovu a pak ještě jednou s otázkami v jiném pořadí a parafrázovaným zněním. Jde o logiku Twin-2K-500 obrácenou na vlastní práci: nestabilita ukazuje, jak jemné rozlišení metoda pro vaši otázku nabízí. Pokud se A a B po změně pořadí prohodí, rozdíl nikdy nebyl skutečný. Zaznamenejte také verzi modelu — podle Onga je opakování na nové verzi novou studií.

4. Prověřte podskupiny a rozptyl. Liší se demografické skupiny tak, jak ukazují populační data? Mají distribuce své okraje? Slité podskupiny a chybějící okraje znamenají, že panel neplní funkci, kterou mu přisuzujete.

5. Potvrďte rozhodnutí s lidmi. Vše, co tímto sítem projde, ověřte před uvedením na trh s reálnými uživateli. Není to volitelné a vyjde to levněji než dřív: syntetický průchod vyřadil slabé kandidáty a odhalil chybně položené otázky.

Začněte kroky 1 a 3. Stojí jen několik kreditů — ceník je na rozdíl od většiny trhu veřejný — a řeknou vám víc než jakýkoli dodavatelský benchmark.

Náš vlastní benchmark (připravujeme)

Připravujeme srovnávací studii: jeden pětibodový dotazník provedeme dvakrát, jednou prostřednictvím kvantitativního modulu SynthFolku a podruhé na reálném panelu s odpovídajícími kvótami na jednom evropském trhu. Otázky jsou předregistrované a záměrně zahrnují typ, u nějž literatura předpovídá selhání — cenovou citlivost. Zveřejníme rozdíly v distribucích, korelace pořadí, míry směrové shody, rozdíly mezi podskupinami, oba údaje o nákladech i surová data.

Zatím neexistuje. Až bude hotová, odkážeme na ni zde. Do té doby berte každé tvrzení na této stránce jako úvahu vycházející z níže uvedené literatury a naší provozní zkušenosti, nikoli jako naměřený výsledek.

Poctivý závěr

Syntetický výzkum je doplněk, ne náhrada — tato věta se často opakuje, proto konkrétně: mění ekonomiku otázek, za které byste nikdy nezaplatili, a zpřesňuje výzkum, do něhož investujete, tím, že odstraní slepé uličky dříve, než zaplatíte sběr dat. Nevytváří důkazy o lidech. Vytváří rychlý a levný předběžný odhad toho, co by lidé mohli říct, který pak ověříte.

Tým, který nahradí výzkumnou funkci syntetickým panelem, neušetřil peníze; koupil si výřečný stroj na potvrzování toho, čemu už věřil. Tým, který spustí nejprve syntetiku a potom lidi, si může dovolit lepší lidský výzkum.

Časté dotazy

Jsou syntetičtí uživatelé dost přesní pro skutečné rozhodnutí?

Pro rozhodnutí, která zužují soubor — které tři koncepty postoupí, který trh zkoumat nejdřív — ano, s výše uvedeným protokolem. Pro rozhodnutí zavazující rozpočet, kapacity nebo spuštění produktu ne.

Mohou syntetičtí respondenti nahradit panel?

Ne, a problém je už v samotném rámci otázky. Nahrazují studie, které byste vůbec nespustili. Tam, kde je panel skutečně nutný — cokoli měřeného, regulovaného, citlivého nebo behaviorálního — náhrada neexistuje.

Jaká je chybovost?

Žádná není a každý dodavatel, který ji uvádí, tento pojem používá špatně. Chybovost je vlastnost pravděpodobnostního vzorkování; syntetičtí respondenti nemají výběrový rámec. Co měřit můžete, je shoda s minulými výsledky a stabilita při opakováních — kroky 1 a 3.

Na jaké typy otázek se nikdy nemám ptát?

Na přesné ceny a ochotu platit, neasistované vybavení značky či reklamy, četnost minulého chování, cokoli po datu ukončení trénování, cokoli stigmatizovaného a jakoukoli odpověď, kterou chcete citovat jako procento. Frekvence chování je nejjasnější případ: Tanusondjaja a kolegové stanovili Paretovy poměry pro řetězec obchodních domů z více než 550 milionů transakcí. Žádný prompt to nenahradí.

Jak se to srovnává s nekvalitním lidským panelem?

To je nejspravedlivější srovnání a to, které se nejrychleji proměňuje. Levné panely přinášejí nepozorné respondenty a podvody, které víc odpovědí částečně napraví; syntetické panely přidávají korelované zkreslení, které více odpovědí zhorší tím, že zpřesní jistotu kolem špatné odpovědi. Obě strany se ale sbližují z lidské strany. Lin uvádí, že AI při otevřených otázkách používá zhruba 34 % respondentů Prolificu a pro některé typy úloh až 73 % respondentů Mechanical Turku a že autonomní agent prošel 99,8 % ze 6 000 kontrol pozornosti vytvořených pro zachycení nepozorných lidí. „Reálný panel" už není čistá základna.

Spusťte validační protokol na vlastní otázce. Vezměte studii, jejíž odpověď už znáte, a zopakujte ji synteticky — malá kvalitativní studie stojí přibližně deset kreditů a nové účty začínají s dostatkem. Otevřete dashboard a zpětně otestujte jednu otázku. To, zda panel reprodukuje něco, co už víte, je jediný benchmark, který by měl pohnout vaším rozhodnutím.

Použitá literatura

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.