Quanto sono accurati i rispondenti sintetici? Che cosa dicono davvero le evidenze

2026-08-13 · 20 min di lettura

I rispondenti sintetici sono abbastanza accurati per ordinare opzioni, confrontare messaggi e mappare obiezioni, ma non per produrre un numero difendibile. Le evidenze pubblicate sostengono un uso direzionale e comparativo, non il trattamento delle risposte simulate come dati di sondaggio. La scelta fra questi due usi decide se il metodo la aiuta o la fuorvia in silenzio.

In sintesi

• L'accuratezza non è una cosa sola. Corrispondenza delle distribuzioni, accordo direzionale e previsione individuale sono tre standard diversi, e i rispondenti sintetici si comportano in modo molto diverso rispetto a ciascuno.
• I critici hanno sostanzialmente ragione sulle modalità di fallimento. Dipendenza dalla formulazione, varianza appiattita, specificità allucinata e un profilo di opinione predefinito squilibrato sono documentati, e nessun modello più grande li risolve.
• L'ancoraggio a dati di sondaggio reali è la principale leva di qualità: un modello più grande, privo di ancoraggio, restituisce comunque l'opinione mediana di internet in costume.
• Nessun fornitore, noi compresi, può darle un numero di validità per la sua categoria. L'unico benchmark che dovrebbe governare le sue decisioni è quello che esegue sui suoi stessi studi.

Su questo tema si scrive quasi sempre secondo due schemi: fornitori che affermano la parità e ricercatori che dichiarano il metodo illegittimo per principio. Questo articolo riconosce ciò che va riconosciuto e spiega quando gli utenti sintetici producono risultati su cui valga la pena agire. Se la categoria le è nuova, parta da come si costruiscono le persona sintetiche: l'argomento sull'accuratezza parte da lì.

Perché è una domanda difficile

"Gli utenti sintetici sono accurati?" è una domanda a cui non si può rispondere così com'è formulata, perché accurato può significare tacitamente tre cose incompatibili.

Corrispondenza delle distribuzioni. Il campione sintetico riproduce la distribuzione delle risposte della popolazione — la stessa quota che sceglie l'opzione B, la stessa media su una scala da 1 a 7? È lo standard più severo, ed è quello necessario per dimensionare il mercato.

Accordo direzionale. Indica lo stesso vincitore, ordina le opzioni allo stesso modo, si muove nella stessa direzione fra due condizioni? È uno standard più debole, ma è quello su cui poggia la maggior parte delle decisioni di prodotto.

Previsione individuale. Un agente costruito sui dati di una singola persona riesce a riprodurre le risposte di quella persona? È una questione di frontiera, commercialmente quasi irrilevante — ma l'unica con un metro sensato. Toubia e colleghi, costruendo alla Columbia il dataset Twin-2K-500, hanno ripetuto i compiti in un'ultima rilevazione così da poter valutare l'accuratezza dei gemelli rispetto al test–retest: quanto bene le persone riproducono le proprie stesse risposte. L'accordo perfetto non è l'obiettivo, perché non lo raggiungono nemmeno gli esseri umani.

Un fornitore che dichiara alta accuratezza di solito intende l'accordo direzionale; un critico che denuncia il fallimento di solito intende la corrispondenza delle distribuzioni. Possono avere ragione entrambi.

Che cosa ha trovato davvero la ricerca

La letteratura è giovane, disomogenea e migliore di quanto lascino intendere i discorsi promozionali di entrambe le parti. La tabella mappa ciò che è stato studiato, non offre una pagella.

Nessuno di questi risultati proviene da SynthFolk, e nessuno autorizza l'affermazione generale che "i rispondenti sintetici sono accurati al X%": l'accuratezza dipende dal tipo di domanda, dal mercato, dal modello e dall'ancoraggio. Questa dipendenza non è una scusa della ricerca sintetica, ma una regola della scienza del marketing: Wind e Sharp, passando in rassegna le generalizzazioni empiriche della pubblicità, osservano che perfino le leggi più consolidate soffrono di una conoscenza inadeguata delle condizioni in cui si generalizzano. Sarstedt e colleghi arrivano dove arriva questo articolo: i campioni al silicio "sono particolarmente promettenti nelle parti a monte del processo di ricerca, come il pretest qualitativo e gli studi pilota", molto meno negli studi principali.

Dove i rispondenti sintetici coincidono con quelli reali

Rispetto allo standard direzionale, con un ancoraggio ragionevole:

• Ordinamento delle opzioni. Quali di sei proposte di valore funzionano e quali sono morte. I giudizi relativi sopravvivono a bias che quelli assoluti non reggono.
• Direzione attitudinale di massima. Se un mercato è più preoccupato per la privacy di un altro; se un'affermazione suona rassicurante o eccessiva. È il registro in cui le distribuzioni aggregate di Sun si sono avvicinate ai sondaggi reali.
• Differenze grossolane fra segmenti. Gruppi ampi e ben documentati — fasce d'età, urbano e rurale, alta e bassa fiducia istituzionale — dove i dati di popolazione sono spessi.
• Inventari di obiezioni. Che cosa le persone dicono che le fermerebbe dall'acquisto. Sta raccogliendo un insieme, non misurandone la frequenza.

Dove non coincidono

Rispetto allo standard di distribuzione, i fallimenti sono prevedibili in anticipo:

• Sensibilità al prezzo a qualsiasi grana utile. I compiti sul valore economico sono esattamente il punto in cui la rassegna di Sarstedt registra repliche fallite: effetto dotazione, contabilità mentale, fallacia dei costi affondati.
• Intenzione assoluta, incidenza e numeri previsionali. "Il 62% cambierebbe" ha la grammatica di un dato e nessuna delle sue proprietà. Lin mostra quanto poco serva a spostare una cifra del genere: inserire da 10 a 52 rispondenti sintetici in campioni di sondaggio da 1.600 ribaltava quale candidato risultasse in testa.
• Popolazioni rare e specialistiche. I dati di ancoraggio sono più sottili dove la posta è più alta, e un ancoraggio sottile non si annuncia da sé.
• Ricordo di marca e di annuncio, e qualunque cosa successiva al cutoff di addestramento. Per Romaniuk e Sharp la salienza è la propensione di una marca a venire in mente in una situazione d'acquisto — una proprietà della rete mnemonica dell'acquirente — e la replica di Macdonald e Sharp mostra la notorietà all'opera come euristica di scelta durevole in condizioni di scelta reali. Un modello testuale non ha né l'una né l'altra.
• Materiale culturalmente sensibile. Lin rileva che le risposte mediate dall'IA a domande intergruppo delicate sono più positive e astratte, e assai meno inclini a portare negatività aspra: l'appiattimento diventa offensivo oltre che sbagliato.
• Scomposizioni per sottogruppo. Tagliare 200 rispondenti sintetici in sei celle produce sei riformulazioni del default maggioritario, e il risultato di Sun dice che l'errore non è nemmeno uniforme fra di esse.

Dove i critici hanno ragione

I contributi più citati su questo tema sono critici e, sul meccanismo, hanno ragione.

Rosala e Moran del Nielsen Norman Group sostengono che gli "utenti" generati dall'IA non possono sostituire quelli reali, concedendo un solo uso circoscritto: provare una traccia di discussione in un settore poco familiare prima di incontrare partecipanti veri. Papangelis, su ACM Interactions, dà un nome alla "fallacia della persona sintetica" — lo scivolamento dall'artefatto plausibile al sostituto di un'intera constituency — più un problema di riciclaggio dei bias, per cui le voci dominanti nei dati di addestramento tornano indietro travestite da popolazione. Chapman sul Quant UX Blog osserva che la statistica dei sondaggi non si applica a campioni estratti da un modello, e la rassegna degli esperimenti pubblicati di MeasuringU concorda: generazione di ipotesi, non decisioni finali.

Non tutta la resistenza riguarda la validità — Castelo, Bos e Lehmann mostrano che gli algoritmi sono meno accettati nei compiti che sembrano soggettivi, quali che siano le loro prestazioni, e l'insight qualitativo ne è l'archetipo — quindi scetticismo e prove vanno discussi separatamente. Quattro critiche, però, sono strutturali e non problemi di gioventù.

1. Dipendenza dal framing. I modelli rispondono alla domanda che ricevono, nei termini in cui la ricevono. Chieda "userebbe questa funzionalità?" e il tasso base dei sì sarà una proprietà del prompt. Il gruppo di Toubia cita lavori secondo cui le risposte possono essere dominate dall'architettura del prompt: bastano l'etichettatura e l'ordine delle opzioni. Il caso di Lin è più netto: una singola istruzione a non rispondere mai in modo negativo su un Paese ha spostato l'indicazione del principale avversario dell'America da 86% Cina a 88% Russia.

2. Appiattimento delle distribuzioni. I campioni sintetici sono sotto-dispersi. In uno sforzo di replica coperto dalla rassegna di Sarstedt, sei studi su quattordici mostravano un "effetto risposta corretta": il modello rispondeva in modo estremamente uniforme, con variazione nulla o quasi. I risultati di Lin su omogeneità e troncamento delle code mostrano la stessa forma dall'altro lato, e Valenzuela e coautori danno un nome al meccanismo: riduzionismo parametrico, rappresentare una persona con pochi parametri e perdere tutto ciò che quei parametri non portano. Qualsiasi statistica che dipenda dalla dispersione non è valida.

3. Specificità allucinata. Se si chiede un dettaglio, il modello lo fornisce: una marca che compra "sempre", un prezzo che ha pagato. Ben formato e inventato. La prova più tagliente viene dallo screening clinico. Fernandez, Berner e Shevlin hanno generato 2.106 persona sintetiche da 13 profili diagnostici e le hanno sottoposte a sette strumenti psichiatrici validati. Ricevendo soltanto brevi descrizioni, e senza alcun contenuto degli strumenti nei prompt, il modello ha prodotto punteggi congruenti con la diagnosi sopra le soglie cliniche, in crescita monotona con la gravità. Rispondere in modo coerente sopra soglia, concludono, "non può più fungere da indizio di partecipazione autentica". Il pericolo non è la finzione con la grammatica sbagliata. È la finzione che supera lo strumento validato.

4. Un profilo di opinione predefinito squilibrato. I corpora di addestramento sovrarappresentano alcune popolazioni, come sostiene Papangelis, e il prompting demografico sposta il default solo in parte. Il gruppo di Sun lo misura: il metodo che riproduce bene i sondaggi nazionali perde fedeltà in modo disomogeneo fra sottogruppi e temi, seguendo i bias insiti nel modello. La sigla nota — occidentale, istruito, industrializzato, ricco, democratico — dà la direzione; il problema è che l'output non dice mai quali celle siano inaffidabili.

Che cosa determina davvero la qualità di un rispondente sintetico

La leva decisiva non è la scelta del modello. È ciò su cui la persona è condizionata.

Un prompt privo di ancoraggio che descrive "un'insegnante di 34 anni a Lione" restituisce il prior del modello sulle insegnanti francesi. Dieci di loro concordano, perché sono un'unica distribuzione campionata dieci volte, e la maggior parte delle brutte esperienze con la ricerca sintetica sono esperienze con quella configurazione. Il risultato di Sun è la metà costruttiva: dare in pasto al modello la distribuzione di un gruppo anziché una caricatura è ciò che ha avvicinato le risposte sintetiche ai sondaggi veri. L'unanimità è un referto sul modello, non sul mercato.

SynthFolk condiziona le persona sull'European Social Survey e su Eurobarometro — indagini probabilistiche ampie e documentate — più una mappatura demografica e cinque regioni culturali europee, così che un rispondente polacco e uno portoghese differiscano su dimensioni misurate, non per stereotipo. Ecco che cosa risolve:

Tre "no" e due "in parte". L'ancoraggio è la differenza fra un metodo talvolta utile e uno che non lo è mai, non la differenza fra simulazione e misurazione.

Dove la ricerca sintetica è oggi adeguata allo scopo

La colonna di sinistra è la raccomandazione stessa della rassegna di Sarstedt — pretest e piloti a monte — e il suo output è comparativo, quindi sbagliare reindirizza il passo successivo anziché mandare in produzione una decisione. Il modulo quantitativo di SynthFolk è costruito per quella colonna: da 50 a 250 rispondenti, letti come confronti, non come stime.

Come validare i risultati sintetici sui propri studi

I benchmark di categoria dicono poco sulla sua categoria. La difesa della ricerca empirics-first di Golder e colleghi vale anche qui: lavoro ancorato a un fenomeno reale, condotto sui dati, capace di produrre insight validi senza attendere una teoria.

1. Ripeta all'indietro uno studio che ha già condotto. Prenda una ricerca reale degli ultimi dodici mesi e rifaccia la sua domanda centrale in versione sintetica, in cieco rispetto al risultato se possibile. Confronti la graduatoria, non i numeri. L'accordo direzionale su studi di cui si fida è il suo vero tasso di accuratezza.

2. Affianchi uno studio umano, con la giusta linea di base. Per una singola decisione reale, metta in campo entrambi: lo studio sintetico e un piccolo panel reale sulle stesse quote. È la linea di base a fare la differenza. La lettera su PNAS di Sharp, Danenberg e Bellman è il caso ammonitore: rileggendo un celebre risultato sul targeting psicologico, mostrano che l'originale confrontava annunci mirati con annunci deliberatamente mal mirati anziché con pubblicità non mirata, che il targeting vinceva solo due esperimenti su cinque — più o meno quanto prevede il caso — e che la qualità creativa non era controllata. Una linea di base debole fabbrica un risultato.

3. Faccia un test–retest sul lato sintetico. Ripeta lo studio identico, poi di nuovo con le domande riordinate e riformulate. È la logica di Twin-2K-500 applicata al suo lavoro: l'instabilità delimita la risoluzione che il metodo ha per la sua domanda. Se A e B si scambiano quando si riordina, la differenza non è mai esistita. Annoti la versione del modello: per il punto sollevato da Ong, rifare lo studio su una nuova versione è un nuovo studio.

4. Controlli sottogruppi e dispersione. Le celle demografiche differiscono come dicono i dati di popolazione? Le distribuzioni hanno code? Sottogruppi collassati e code mancanti significano che il panel non sta facendo il lavoro che lei crede.

5. Confermi la decisione con esseri umani. Ciò che sopravvive va portato davanti a utenti reali prima del lancio. Non è facoltativo, ed è più economico di prima: la passata sintetica ha già rimosso i candidati sbagliati e sistemato le domande difettose.

Cominci dai passaggi 1 e 3. Costano una manciata di crediti — i prezzi sono pubblicati, a differenza di gran parte di questo mercato — e le dicono più di qualunque benchmark di fornitore.

Il nostro benchmark (in preparazione)

Stiamo conducendo uno studio testa a testa: un questionario di cinque domande somministrato due volte, attraverso il modulo quantitativo di SynthFolk e attraverso un panel reale su quote corrispondenti, in un mercato europeo. Le domande sono preregistrate e includono deliberatamente un tipo che secondo la letteratura dovrebbe fallire: la sensibilità al prezzo. Pubblicheremo gli scarti fra distribuzioni, le correlazioni di rango, i tassi di accordo direzionale, gli scarti per sottogruppo, entrambe le voci di costo e i dati grezzi.

Non esiste ancora. Quando esisterà, sarà collegato qui. Fino ad allora, tratti ogni affermazione di questa pagina come un ragionamento fondato sulla letteratura elencata sotto e sulla nostra esperienza operativa, non come un risultato misurato.

La conclusione onesta

La ricerca sintetica è un complemento, non un sostituto — una formula ormai logora, quindi diciamolo concretamente: cambia l'economia di domande che comunque non avrebbe finanziato e affina la ricerca che finanzia rimuovendo le svolte sbagliate prima di pagare per il campo. Non produce prove sulle persone. Produce un prior rapido ed economico su ciò che le persone potrebbero dire, che poi lei verifica.

Un team che sostituisce la propria funzione di ricerca con un panel sintetico non ha risparmiato: ha comprato una macchina eloquente per confermare ciò che già credeva. Un team che gira prima il sintetico e poi l'umano può permettersi una ricerca umana migliore.

Domande frequenti

Gli utenti sintetici sono abbastanza accurati per una decisione reale?

Per decisioni che restringono un insieme — quali tre concept avanzano, quale mercato indagare per primo — sì, applicando il protocollo qui sopra. Per decisioni che impegnano budget, organico o un lancio, no.

I rispondenti sintetici possono sostituire un panel?

No, e il problema sta nell'impostazione della domanda. Sostituiscono gli studi che non avrebbe mai condotto. Dove un panel è davvero necessario — qualsiasi cosa misurata, regolamentata, sensibile o comportamentale — non esistono sostituti.

Qual è il margine di errore?

Non ce n'è, e qualsiasi fornitore ne citi uno sta usando male il termine. Il margine di errore è una proprietà del campionamento probabilistico; i rispondenti sintetici non hanno una lista di campionamento. Quello che può misurare è l'accordo con i suoi risultati passati e la stabilità fra esecuzioni ripetute: i passaggi 1 e 3.

Quali tipi di domanda non dovrei mai porre?

Prezzi esatti e disponibilità a pagare, ricordo spontaneo di marca o di annuncio, frequenza di un comportamento passato, qualsiasi cosa successiva al cutoff di addestramento, qualsiasi tema stigmatizzato e qualsiasi risposta che intenda citare come percentuale. La frequenza comportamentale è il caso più chiaro: Tanusondjaja e colleghi hanno stabilito i rapporti di Pareto per una catena di grandi magazzini a partire da oltre 550 milioni di transazioni. Nessun prompt sostituisce quel dato.

Come si confronta con un panel umano di bassa qualità?

È il confronto più equo, ed è quello che sta cambiando più in fretta. I panel economici portano con sé rispondenti disattenti e frodi, che un numero maggiore di risposte in parte cura; i panel sintetici aggiungono bias correlato, che un numero maggiore di risposte peggiora, stringendo gli intervalli intorno alla risposta sbagliata. Ma i due mondi stanno convergendo dal lato umano. Lin riferisce che circa il 34% dei rispondenti su Prolific dichiara di usare l'IA nelle domande aperte, quota che sale al 73% su Mechanical Turk per alcuni tipi di compito, e che un agente autonomo ha superato il 99,8% di 6.000 controlli di attenzione pensati per smascherare umani distratti. "Panel reale" non è più una linea di base pulita.

Applichi il protocollo di validazione alla sua domanda. Prenda uno studio di cui ha già la risposta e lo rifaccia in versione sintetica: un piccolo studio qualitativo costa circa dieci crediti, e i nuovi account ne hanno abbastanza. Apra la dashboard e ripeta all'indietro una domanda. Se il panel riproduce ciò che lei già sa, è l'unico banco di prova che dovrebbe convincerla.

Bibliografia

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.