Jak dokładni są syntetyczni respondenci? Co faktycznie pokazują dowody

2026-08-13 · 16 min czytania

Syntetyczni respondenci są wystarczająco dokładni, by uszeregować opcje, porównać komunikaty i zmapować obiekcje. Nie są jednak na tyle dokładni, by podać liczbę, której można bronić. Opublikowane dowody wspierają zastosowania kierunkowe i porównawcze, a nie traktowanie symulowanych odpowiedzi jak danych ankietowych. To właśnie wybór między tymi dwoma zastosowaniami decyduje, czy metoda pomaga, czy po cichu wprowadza w błąd.

Najważniejsze wnioski

• Dokładność nie jest jedną rzeczą. Zgodność rozkładów, zgodność kierunkowa i predykcja indywidualna to trzy różne standardy, wobec których syntetyczni respondenci wypadają bardzo różnie.
• Krytycy w dużej mierze mają rację co do mechanizmów awarii. Zależność od sformułowania pytania, spłaszczona wariancja, zhalucynowana szczegółowość i nierówny domyślny profil opinii są udokumentowane, a większy model ich nie naprawia.
• Ugruntowanie w rzeczywistych danych ankietowych jest głównym źródłem jakości — większy model bez ugruntowania nadal zwraca medianowy pogląd internetu w przebraniu respondenta.
• Żaden dostawca, włącznie z nami, nie może podać liczby wiarygodności dla Państwa kategorii. Decyzjami powinien rządzić wyłącznie benchmark uruchomiony wobec własnych badań.

Większość tekstów na ten temat przyjmuje jeden z dwóch tonów: dostawcy ogłaszają równoważność, a badacze uznają metodę za z zasady nieuprawnioną. Ten artykuł otwarcie wskazuje jej ograniczenia i określa, kiedy syntetyczni użytkownicy dostarczają wyniku, na podstawie którego warto działać. Jeżeli ta kategoria jest dla Państwa nowa, zacznijcie od tego, jak buduje się syntetyczne persony — od ich konstrukcji zależy argument o dokładności.

Dlaczego na to pytanie trudno odpowiedzieć

Pytanie „czy syntetyczni użytkownicy są dokładni?” w tej postaci nie ma odpowiedzi, ponieważ dokładność kryje w sobie trzy niezgodne ze sobą znaczenia.

Zgodność rozkładów. Czy syntetyczna próba odtwarza rozkład odpowiedzi populacji — ten sam odsetek wybierający opcję B, tę samą średnią na skali 1–7? To najsurowszy standard, potrzebny przy szacowaniu rynku.

Zgodność kierunkowa. Czy wybiera tego samego zwycięzcę, porządkuje opcje tak samo i zmierza w tym samym kierunku między dwoma warunkami? To mniej rygorystyczny standard, na którym opiera się większość decyzji produktowych.

Predykcja indywidualna. Czy agent zbudowany z danych jednej osoby potrafi odtworzyć odpowiedzi tej osoby? To granica badań, w dużej mierze nieistotna komercyjnie, ale dająca rozsądny punkt odniesienia. Toubia i współpracownicy, budując na Columbii zbiór Twin-2K-500, powtórzyli zadania w ostatniej fali ankiety, aby ocenić dokładność bliźniaka wobec test–retest: tego, jak dobrze ludzie odtwarzają własne odpowiedzi. Idealna zgodność nie jest celem, bo ludzie sami jej nie osiągają.

Dostawca deklarujący wysoką dokładność zwykle ma na myśli zgodność kierunkową; krytyk raportujący porażkę zwykle mówi o zgodności rozkładów. Obaj mogą mieć rację.

Co faktycznie wykazały badania

Literatura jest młoda, nierówna i solidniejsza, niż sugeruje marketing po obu stronach. Tabela pokazuje to, co już sprawdzono, a nie ranking wyników.

Żadne z tych badań nie jest wynikiem SynthFolk i żadne nie uprawnia do ogólnego twierdzenia, że „syntetyczni respondenci są dokładni w X%” — dokładność zależy od rodzaju pytania, rynku, modelu i ugruntowania. Ta zależność nie jest wymówką badań syntetycznych, lecz normą nauki o marketingu: Wind i Sharp, omawiając empiryczne generalizacje reklamy, zauważają, że nawet dobrze ustalone prawa cierpią na niedostateczną wiedzę o warunkach, w których dają się uogólniać. Sarstedt i współpracownicy dochodzą do tego samego co ten artykuł: próby krzemowe „szczególnie obiecująco wyglądają we wcześniejszych częściach procesu badawczego, takich jak jakościowe pretesty i badania pilotażowe”, a znacznie słabiej w badaniach głównych.

Gdzie syntetyczni respondenci odpowiadają realnym

Wobec standardu kierunkowego, przy rozsądnym ugruntowaniu:

• Porządkowanie opcji. Która z sześciu propozycji wartości działa, a która nie. Względne osądy są odporniejsze na obciążenia niż osądy bezwzględne.
• Szeroki kierunek postaw. Czy jeden rynek bardziej obawia się prywatności niż drugi; czy twierdzenie brzmi uspokajająco czy przesadnie. To rejestr, w którym zagregowane rozkłady Suna zbliżyły się do realnych sondaży.
• Zgrubne różnice segmentowe. Duże, dobrze udokumentowane grupy — przedziały wieku, miasto i wieś, wysokie i niskie zaufanie instytucjonalne — dla których danych populacyjnych jest dużo.
• Inwentarze obiekcji. Co ludzie mówią, że powstrzymałoby ich przed zakupem. Zbierają Państwo zbiór, nie mierzą jego częstości.

Gdzie nie odpowiadają

Wobec standardu rozkładu awarie można przewidzieć z góry:

• Wrażliwość cenowa przy dowolnej użytecznej szczegółowości. Zadania wartości ekonomicznej to dokładnie obszar, w którym przegląd Sarstedta notuje porażki replikacji — efekt posiadania, księgowanie mentalne, błąd utopionych kosztów.
• Bezwzględna intencja, częstość i liczby prognostyczne. „62% zmieniłoby markę” ma gramatykę danych i żadnej z ich właściwości. Lin pokazuje, jak mało potrzeba, by taką liczbę przesunąć: wstawienie 10 do 52 syntetycznych respondentów do prób sondażowych po 1600 osób odwracało prowadzenie kandydata.
• Populacje o niskiej częstości i specjalistyczne. Dane ugruntowujące są najcieńsze tam, gdzie stawka jest najwyższa, a cienkie ugruntowanie nie sygnalizuje samo siebie.
• Pamięć marki i reklamy oraz wszystko po odcięciu treningowym. Salience, według Romaniuk i Sharpa, to skłonność marki do pojawienia się w głowie w sytuacji zakupu — własność sieci pamięci nabywcy — a replikacja Macdonald i Sharpa pokazuje świadomość jako trwałą heurystykę wyboru w realnych warunkach wyboru. Model tekstowy nie ma ani jednego, ani drugiego.
• Materiał wrażliwy kulturowo. Lin stwierdza, że odpowiedzi AI na wrażliwe pytania międzygrupowe są bardziej pozytywne i abstrakcyjne, dużo rzadziej zawierają ostrą negatywność — spłaszczenie staje się nie tylko błędne, lecz także obraźliwe.
• Podziały na podgrupy. Podzielenie 200 syntetycznych respondentów na sześć komórek daje sześć powtórzeń domyślnego stanowiska większości, a wynik Suna mówi, że błąd nie rozkłada się między nimi równo.

W czym krytycy mają rację

Najczęściej cytowane teksty na ten temat są krytyczne i trafnie opisują mechanizm.

Rosala i Moran z Nielsen Norman Group twierdzą, że generowani przez AI „użytkownicy” nie mogą zastąpić realnych, przyznając jedno wąskie zastosowanie: przećwiczenie scenariusza wywiadu w nieznanej dziedzinie przed spotkaniem z prawdziwymi uczestnikami. Papangelis w ACM Interactions nazywa „błędem syntetycznej persony” przejście od wiarygodnego artefaktu do zastępnika całej grupy, a także problem prania obciążeń, w którym dominujące głosy z danych treningowych wracają jako populacja. Chapman na Quant UX Blog zauważa, że statystyka ankietowa nie odnosi się do prób wylosowanych z modelu, a przegląd opublikowanych eksperymentów MeasuringU zgadza się: generowanie hipotez, nie decyzje końcowe.

Nie każda obiekcja dotyczy trafności — Castelo, Bos i Lehmann pokazują, że algorytmom ufa się mniej w zadaniach, które tylko wydają się subiektywne, niezależnie od ich działania, a wgląd jakościowy jest tego archetypem. Dlatego sceptycyzm i dowody trzeba rozpatrywać osobno. Cztery zarzuty są jednak strukturalne, a nie przejściowe.

1. Zależność od ramowania. Modele odpowiadają na pytanie, które im zadano, w narzuconych mu warunkach. Zapytaj „czy użyłbyś tej funkcji?”, a bazowy odsetek „tak” jest własnością promptu. Grupa Toubii cytuje badania pokazujące, że odpowiedzi mogą być zdominowane przez architekturę promptu — same etykiety i kolejność opcji. Przypadek Lina jest wyraźniejszy: pojedyncza instrukcja, by nigdy nie odpowiadać negatywnie o kraju, przesunęła wskazanie głównego przeciwnika Ameryki przez syntetyczną próbę z 86% Chiny na 88% Rosja.

2. Spłaszczanie rozkładów. Próby syntetyczne mają zbyt mały rozrzut. W wysiłku replikacyjnym objętym przeglądem Sarstedta sześć z czternastu badań pokazało „efekt poprawnej odpowiedzi” — model odpowiadał bardzo jednolicie, bez zróżnicowania lub prawie bez niego. Wyniki Lina o jednorodności i obcinaniu ogonów mają ten sam kształt z drugiej strony, a Valenzuela i współautorzy nazywają mechanizm redukcjonizmem parametrycznym: reprezentowaniem człowieka kilkoma parametrami i utratą wszystkiego, czego nie niosą. Każda statystyka zależna od rozrzutu jest nieważna.

3. Zhalucynowana szczegółowość. Poproszone o szczegół model podaje go: markę, którą „zawsze” kupuje, cenę, jaką zapłacił. Poprawnie uformowany i wymyślony. Najostrzejszy dowód pochodzi z przesiewu klinicznego. Fernandez, Berner i Shevlin wygenerowali 2106 syntetycznych person z 13 profili diagnostycznych i przeprowadzili je przez siedem walidowanych narzędzi psychiatrycznych. Mając tylko krótkie opisy i żadnej treści narzędzi w promptach, model wygenerował zgodne z diagnozą wyniki powyżej progów klinicznych, rosnące monotonicznie wraz z ciężkością. Spójne odpowiadanie powyżej progu, wnioskują, „nie może już służyć jako proxy autentycznego uczestnictwa”. Niebezpieczeństwem nie jest fikcja ze złą gramatyką. Jest nią fikcja przechodząca przez walidowane narzędzie.

4. Nierówny domyślny profil opinii. Korpusy treningowe nadreprezentują niektóre populacje, jak argumentuje Papangelis, a promptowanie demografią przesuwa domyślność tylko częściowo. Zespół Suna to mierzy: metoda, która dobrze odtwarza sondaże krajowe, nierówno traci wierność między podgrupami i tematami, zgodnie z obciążeniami tkwiącymi w modelu. Znany skrót — zachodnie, wykształcone, uprzemysłowione, bogate, demokratyczne — wskazuje kierunek; problem polega na tym, że wynik nigdy nie mówi, które komórki są niewiarygodne.

Co faktycznie określa jakość syntetycznego respondenta

Decydujący nie jest wybór modelu, lecz to, na czym ugruntowano personę.

Nieugruntowany prompt opisujący „34-letnią nauczycielkę z Lyonu” zwraca wcześniejsze przekonanie modelu o francuskich nauczycielkach. Dziesięć takich person będzie zgodnych, bo pochodzą z jednego rozkładu próbkowanego dziesięć razy; z tej konfiguracji wynika też większość złych doświadczeń z badaniami syntetycznymi. Wynik Suna pokazuje konstruktywną drugą stronę: podanie modelowi rozkładu grupy zamiast karykatury zbliżyło odpowiedzi syntetyczne do realnych sondaży. Jednomyślność mówi o modelu, nie o rynku.

SynthFolk warunkuje persony na Europejskim Sondażu Społecznym i Eurobarometrze — dużych, udokumentowanych badaniach probabilistycznych — oraz na mapowaniu demograficznym i pięciu europejskich regionach kulturowych, więc polski i portugalski respondent różnią się na wymierzonych wymiarach, a nie stereotypem. Co to naprawia:

Trzy „nie” i dwa „częściowo”. Ugruntowanie jest różnicą między metodą czasem użyteczną a metodą nigdy nieużyteczną — nie między symulacją a pomiarem.

Do czego badania syntetyczne nadają się dziś

Lewa kolumna odpowiada rekomendacji przeglądu Sarstedta — pretestom i pilotażom na wcześniejszym etapie. Jej wynik ma charakter porównawczy, więc błąd przekierowuje kolejny krok, zamiast wpływać na samą decyzję. Moduł ilościowy SynthFolk jest przeznaczony właśnie do tej kolumny: od 50 do 250 respondentów, a wyniki należy czytać jako porównania, nie estymaty.

Jak walidować wyniki syntetyczne na własnych badaniach

Benchmarki na poziomie kategorii niewiele mówią o Państwa własnej kategorii. Argument Goldera i współpracowników za badaniami opartymi przede wszystkim na empirii ma tu zastosowanie: praca ugruntowana w realnym zjawisku, wykorzystująca dane i dająca trafny wgląd bez czekania na teorię.

1. Wykonajcie retrospektywny test badania, które już przeprowadziliście. Weźcie realne badanie z ostatnich dwunastu miesięcy i uruchomcie jego główne pytanie syntetycznie, jeśli to możliwe — bez znajomości wyniku. Porównajcie ranking, nie liczby. Zgodność kierunkowa w badaniach, którym ufacie, jest Państwa rzeczywistą miarą dokładności.

2. Uruchomcie jedno równoległe badanie z ludźmi i właściwą bazą porównawczą. Dla jednej bieżącej decyzji przeprowadźcie oba warianty: badanie syntetyczne i mały realny panel przy tych samych kwotach. Baza porównawcza ma kluczowe znaczenie. List Sharpa, Danenberga i Bellmana do PNAS jest przestrogą: ponownie analizując słynny wynik targetowania psychologicznego, pokazują, że oryginał porównywał reklamy targetowane z celowo źle targetowanymi, a nie z reklamą nietargetowaną. Targetowanie wygrało tylko dwa z pięciu eksperymentów — około tego, co przewiduje przypadek — a jakość kreacji pozostawała niekontrolowana. Słaba baza porównawcza tworzy mylący wynik.

3. Sprawdźcie stronę syntetyczną testem–retestem. Uruchomcie identyczne badanie ponownie, a potem jeszcze raz z przestawionymi i sparafrazowanymi pytaniami. To logika Twin-2K-500 zastosowana do własnej pracy: niestabilność pokazuje, jaką rozdzielczość metoda zapewnia dla Państwa pytania. Jeśli A i B zamienią się miejscami po zmianie kolejności, różnica nigdy nie była realna. Zapiszcie wersję modelu — zgodnie z Ongiem ponowne uruchomienie na nowej wersji jest nowym badaniem.

4. Sprawdźcie podgrupy i rozrzut. Czy komórki demograficzne różnią się tak, jak wskazują dane populacyjne? Czy rozkłady mają ogony? Zlane podgrupy i brak ogonów oznaczają, że panel nie spełnia funkcji, którą mu przypisujecie.

5. Potwierdźcie decyzję z ludźmi. To, co przejdzie ten etap, trafia do realnych użytkowników przed wdrożeniem. Nie jest to opcjonalne, a kosztuje mniej niż wcześniej: etap syntetyczny usunął słabych kandydatów i poprawił wadliwe pytania.

Zacznijcie od kroków 1 i 3. Kosztują garść kredytów — cennik jest opublikowany, inaczej niż u większości rynku — i powiedzą więcej niż jakikolwiek benchmark dostawcy.

Nasz własny benchmark (w przygotowaniu)

Prowadzimy bezpośrednie badanie porównawcze: tę samą pięciopytaniową ankietę realizujemy dwukrotnie — przez moduł ilościowy SynthFolk i realny panel o dopasowanych kwotach na jednym rynku europejskim. Pytania są prerejestrowane i celowo zawierają typ, który według literatury powinien zawieść — wrażliwość cenową. Opublikujemy różnice rozkładów, korelacje rang, wskaźniki zgodności kierunkowej, różnice między podgrupami, oba koszty i surowe dane.

Badanie nie jest jeszcze gotowe. Gdy będzie dostępne, pojawi się tu link. Do tego czasu każde twierdzenie na tej stronie należy traktować jako rozumowanie oparte na niżej wymienionej literaturze i naszym doświadczeniu operacyjnym, a nie jako wynik pomiaru.

Uczciwy wniosek

Badania syntetyczne są uzupełnieniem, nie zamiennikiem — to często powtarzana fraza, więc doprecyzujmy: zmieniają ekonomię pytań, których i tak by Państwo nie sfinansowali, oraz usprawniają badania, które finansujecie, usuwając ślepe zaułki przed zapłatą za teren. Nie wytwarzają dowodów o ludziach. Dają szybkie i tanie wstępne oszacowanie tego, co ludzie mogliby powiedzieć, które następnie sprawdzacie.

Zespół zastępujący funkcję badawczą syntetycznym panelem nie oszczędza pieniędzy; kupuje elokwentną maszynę potwierdzającą to, w co już wierzy. Zespół, który najpierw uruchamia badanie syntetyczne, a potem ludzkie, może sobie pozwolić na lepsze badania z ludźmi.

Często zadawane pytania

Czy syntetyczni użytkownicy są wystarczająco dokładni dla realnej decyzji?

Dla decyzji zawężających zbiór — które trzy koncepcje przechodzą dalej, który rynek zbadać najpierw — tak, przy protokole opisanym wyżej. Dla decyzji angażujących budżet, etaty lub premierę — nie.

Czy syntetyczni respondenci mogą zastąpić panel?

Nie, a samo ramowanie pytania jest problemem. Zastępują badania, których w ogóle nie zamierzaliście przeprowadzić. Tam, gdzie panel jest rzeczywiście potrzebny — we wszystkim mierzonym, regulowanym, wrażliwym lub behawioralnym — nie ma substytutu.

Jaki jest margines błędu?

Nie ma go, a każdy dostawca go podający używa tego terminu niewłaściwie. Margines błędu jest własnością próbkowania probabilistycznego; syntetyczni respondenci nie mają ramy próby. Możecie mierzyć zgodność z własnymi wcześniejszymi wynikami i stabilność między powtórzeniami — kroki 1 i 3.

Jakich typów pytań nigdy nie powinno się zadawać?

Dokładne ceny i skłonność do zapłaty, spontaniczna pamięć marki lub reklamy, częstość minionego zachowania, wszystko po odcięciu treningowym, wszystko stygmatyzowane oraz każda odpowiedź, którą zamierzacie cytować jako procent. Częstość zachowania jest najczytelniejszym przypadkiem: Tanusondjaja i współpracownicy ustalili proporcje Pareto dla sieci domów towarowych z ponad 550 milionów transakcji. Żaden prompt tego nie zastąpi.

Jak to wypada wobec niskiej jakości panelu ludzkiego?

To najuczciwsze porównanie i najszybciej się zmienia. Tanie panele niosą nieuważnych respondentów i oszustwa, które większa liczba odpowiedzi częściowo leczy; panele syntetyczne dodają skorelowane obciążenie, które większa liczba odpowiedzi pogarsza, zawężając pewność wokół złej odpowiedzi. Oba jednak zbliżają się od strony ludzkiej. Lin raportuje, że około 34% respondentów Prolific mówi, iż używa AI w pytaniach otwartych, a w części typów zadań odsetek na Mechanical Turk rośnie do 73%, zaś autonomiczny agent przeszedł 99,8% z 6000 kontroli uwagi zbudowanych, by wyłapać niedbałych ludzi. „Realny panel” nie jest już czystą bazą.

Uruchomcie protokół walidacji na własnym pytaniu. Weźcie badanie, którego wynik już znacie, i uruchomcie je syntetycznie — małe badanie jakościowe kosztuje około dziesięciu kredytów, a nowe konta zaczynają z wystarczającą liczbą. Otwórzcie panel i wykonajcie back-test jednego pytania. To, czy panel odtwarza to, co już wiecie, jest jedynym benchmarkiem, który powinien zmienić Państwa decyzję.

Bibliografia

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.