Qual é a precisão dos inquiridos sintéticos? O que mostra a evidência
Os inquiridos sintéticos têm precisão suficiente para ordenar opções, comparar mensagens e mapear objeções, mas não para produzir um número defensável. A evidência publicada sustenta o uso direcional e comparativo, não o tratamento de respostas simuladas como dados de inquérito. A escolha entre estes dois usos determina se o método ajuda ou o induz em erro sem alarde.
Ideias-chave
- Precisão não é uma só coisa. Correspondência de distribuição, concordância direcional e previsão individual são três padrões; os inquiridos sintéticos têm desempenhos muito diferentes em cada um.
- Os críticos têm substancialmente razão quanto aos modos de falha. Dependência da formulação, variância achatada, especificidade alucinada e um perfil desigual de opinião por defeito estão documentados; um modelo maior não os corrige.
- A ancoragem em dados reais de inquéritos é a principal alavanca de qualidade — um modelo maior, sem ancoragem, continua a devolver a opinião mediana da internet disfarçada.
- Nenhum fornecedor, incluindo nós, pode dar-lhe um número de validade para a sua categoria. O único referencial que deve orientar decisões é o que executar contra os seus próprios estudos.
A maior parte da escrita sobre o tema segue dois registos: fornecedores que afirmam paridade e investigadores que consideram o método ilegítimo por princípio. Este artigo reconhece o que deve ser reconhecido e explica quando os utilizadores sintéticos produzem resultados sobre os quais vale a pena agir. Se a categoria lhe é nova, comece por ver como se constroem as personas sintéticas: o argumento da precisão depende disso.
Porque é difícil responder a esta pergunta
«Os utilizadores sintéticos são precisos?» não tem resposta tal como está formulada, porque precisos pode significar silenciosamente três coisas incompatíveis.
Correspondência de distribuição. A amostra sintética reproduz a distribuição de respostas da população — a mesma percentagem a escolher a opção B, a mesma média numa escala de 1 a 7? É o padrão mais exigente e o necessário para dimensionar o mercado.
Concordância direcional. Escolhe o mesmo vencedor, ordena as opções da mesma forma, move-se no mesmo sentido entre duas condições? É um padrão mais fraco, mas é nele que assenta a maioria das decisões de produto.
Previsão individual. Um agente construído a partir dos dados de uma pessoa consegue reproduzir as respostas dessa pessoa? É uma fronteira de investigação, largamente irrelevante no comércio, mas com uma medida sensata. Toubia e colegas repetiram tarefas na última vaga do Twin-2K-500 para pontuar a precisão do gémeo face ao teste-reteste: quão bem as pessoas reproduzem as suas próprias respostas. A concordância perfeita não é o objetivo, porque os humanos não a atingem.
Um fornecedor que afirma elevada precisão costuma querer dizer concordância direcional; um crítico que relata falha costuma querer dizer correspondência de distribuição. Ambos podem ter razão.
O que a investigação realmente encontrou
A literatura é recente, desigual e melhor do que o marketing de ambos os lados sugere. A tabela mapeia o que foi estudado, não oferece uma tabela classificativa.
| Linha de evidência | O que fez | O que tende a resistir | O que não resiste |
|---|---|---|---|
| Revisão de amostras de silício de Sarstedt, Adler, Rau & Schmitt (Psychology & Marketing, 2024) | Rever estudos que compararam padrões de resultados de amostras de silício e humanas; a revisão sistemática encontrou 28 artigos, 285 comparações, sete domínios e 96 tarefas | Traços de personalidade, efeitos de enquadramento, atitudes políticas e preferências partidárias, incluindo o trabalho de amostragem de silício de Argyle e colegas | Efeito de dotação, contabilidade mental, falácia do custo afundado; globalmente, os resultados «variam consideravelmente entre domínios» |
| Amostragem aleatória de silício de Sun e colegas (2024) | Deu ao modelo apenas distribuições demográficas ao nível do grupo e comparou-o com sondagens de opinião públicas dos EUA | Distribuições agregadas «notavelmente semelhantes às sondagens de opinião reais dos EUA» | A repetibilidade «varia consoante o grupo demográfico e o tema», atribuída a enviesamentos sociais do modelo |
| Conjunto Twin-2K-500 de Toubia e colegas (2025) | Inquiriu 2.058 participantes dos EUA, 2,42 horas em média, mais de 500 perguntas e quatro vagas; a última repetiu tarefas para fixar uma linha de base de teste-reteste | A previsão individual e agregada é promissora com ancoragem profunda por pessoa; os gémeos baseados em entrevista de Park e colegas igualaram respostas com 85% da precisão com que as pessoas se igualavam a si próprias duas semanas depois | A ancoragem exige horas de entrevistas e questionários por pessoa — não é o que um painel comercial fornece |
| Trabalho de Lin sobre inquiridos sintéticos e a ilusão de dados humanos | Analisou a contaminação por IA de amostras online e as suas consequências estatísticas | Nada sobre qualidade sintética: a coerência interna deixou de provar seja o que for | Texto mediado por LLM é muito mais homogéneo do que texto humano (45% de semelhança em resumos versus 27% nos humanos), e a higienização «trunca precisamente as caudas distribucionais» |
| Revisão dos paradigmas de investigação com LLM de Ong (2024) | Separou GPT-ology, LLMs como modelos computacionais e amostragem de silício, examinando a inferência que cada um sustenta | Os paradigmas distinguem-se e as suas afirmações podem ser avaliadas nos próprios termos | Modelos fechados versus abertos, dados de treino invisíveis e ausência de convenções para «hiperparâmetros» de prompts deixam a reprodutibilidade em aberto |
Nenhum destes resultados é da SynthFolk, e nenhum autoriza a afirmação geral de que «os inquiridos sintéticos têm X% de precisão»: a precisão depende do tipo de pergunta, do mercado, do modelo e da ancoragem. Sarstedt e colegas chegam à mesma conclusão deste artigo: as amostras de silício são especialmente promissoras nas etapas iniciais, como pré-testes qualitativos e estudos-piloto, e muito menos nos estudos principais.
Onde os inquiridos sintéticos correspondem aos reais
Face ao padrão direcional, com ancoragem razoável:
- Ordenação de opções. Quais de seis propostas de valor resultam e quais falham. Juízos relativos sobrevivem a enviesamentos que os absolutos não sobrevivem.
- Direção atitudinal ampla. Se um mercado está mais preocupado com privacidade do que outro; se uma afirmação tranquiliza ou exagera.
- Diferenças grosseiras entre segmentos. Grupos grandes e bem documentados — escalões etários, urbano e rural, confiança institucional alta e baixa — em que os dados populacionais são densos.
- Inventários de objeções. O que as pessoas dizem que as impediria de comprar. Está a recolher um conjunto, não a medir a sua frequência.
Onde não correspondem
Face ao padrão de distribuição, as falhas são previsíveis:
- Sensibilidade ao preço com qualquer granularidade útil. As tarefas de valor económico são precisamente onde a revisão de Sarstedt regista falhas de replicação: efeito de dotação, contabilidade mental e custo afundado.
- Intenção absoluta, incidência e números de previsão. «62% mudariam» tem a gramática dos dados e nenhuma das suas propriedades. Lin mostra quão pouco basta: introduzir 10 a 52 inquiridos sintéticos em amostras de 1.600 mudou o candidato que liderava.
- Populações raras e especializadas. Os dados de ancoragem são mais escassos onde os riscos são maiores, e uma ancoragem fraca não se anuncia.
- Recordação de marca e publicidade, e tudo após o corte de treino. A saliência é a propensão de uma marca para ocorrer à mente numa situação de compra; é uma propriedade da rede de memória do comprador. Um modelo de texto não a tem.
- Material culturalmente sensível. Lin encontra respostas mediadas por IA mais positivas e abstratas em questões intergrupais sensíveis, muito menos propensas à negatividade dura.
- Desagregações por subgrupo. Dividir 200 inquiridos sintéticos em seis células produz seis reformulações do padrão maioritário; o erro nem sequer é igual entre elas.
O que os críticos acertam
Os textos mais citados são críticos e, quanto ao mecanismo, têm razão. Rosala e Moran, da Nielsen Norman Group, defendem que «utilizadores» gerados por IA não substituem pessoas reais, admitindo um uso estreito: ensaiar um guião de discussão antes de conhecer participantes reais. Papangelis, em ACM Interactions, chama-lhe a «falácia da persona sintética»: o salto de artefacto plausível a substituto de uma população, somado à lavagem de enviesamentos. Chapman no Quant UX Blog recorda que estatísticas de inquérito não se aplicam a amostras retiradas de um modelo; a revisão da MeasuringU concorda: gerar hipóteses, não tomar decisões finais.
Nem toda a resistência é sobre validade: Castelo, Bos e Lehmann mostram que algoritmos recebem menos confiança em tarefas que apenas parecem subjetivas. Quatro críticas, porém, são estruturais.
1. Dependência da formulação. Os modelos respondem à pergunta que recebem, nos termos em que a recebem. Perguntar «usaria esta funcionalidade?» faz da taxa-base de «sim» uma propriedade do prompt. A equipa de Toubia cita trabalho em que a arquitetura do prompt — apenas rótulos e ordem das opções — domina respostas. No caso de Lin, uma instrução para nunca responder negativamente sobre um país moveu a identificação do principal adversário dos EUA de 86% China para 88% Rússia.
2. Achatamento da distribuição. Amostras sintéticas têm dispersão insuficiente. Numa tentativa de replicação abrangida por Sarstedt, seis de catorze estudos mostraram um «efeito de resposta correta»: o modelo respondia de modo altamente uniforme, sem variação ou quase sem ela. A homogeneidade e as caudas truncadas de Lin mostram a mesma forma; Valenzuela e coautores chamam-lhe reducionismo paramétrico. Toda a estatística dependente da dispersão é inválida.
3. Especificidade alucinada. Quando se pede detalhe, os modelos dão-no: uma marca que «compram sempre», um preço que pagaram. Bem escrito e inventado. Fernandez, Berner e Shevlin geraram 2.106 personas sintéticas a partir de 13 perfis diagnósticos e aplicaram-lhes sete instrumentos psiquiátricos validados. Só com descrições breves, o modelo produziu resultados congruentes com o diagnóstico acima dos limiares clínicos, aumentando monotonicamente com a gravidade. Responder coerentemente acima do limiar «já não pode servir de indicador de participação autêntica».
4. Perfil desigual de opinião por defeito. Os corpus de treino sobre-representam algumas populações e a formulação demográfica só desloca parcialmente o padrão. A equipa de Sun mede-o: o método que reproduz bem sondagens nacionais perde fidelidade de forma desigual entre subgrupos e tópicos. O problema é que o resultado nunca diz que células são pouco fiáveis.
O que realmente determina a qualidade dos inquiridos sintéticos
A alavanca decisiva não é a escolha do modelo, mas aquilo em que a persona é condicionada.
Um prompt sem ancoragem que descreve «uma professora de 34 anos em Lyon» devolve a crença prévia do modelo sobre professoras francesas. Dez concordam porque são uma distribuição amostrada dez vezes. O resultado construtivo de Sun é a outra metade: fornecer ao modelo a distribuição de um grupo, em vez de uma caricatura, aproximou respostas sintéticas de sondagens reais. A unanimidade é um relatório sobre o modelo, não sobre o mercado.
O SynthFolk condiciona personas no European Social Survey e no Eurobarómetro — inquéritos probabilísticos grandes e documentados — além de mapeamento demográfico e cinco regiões culturais europeias. Assim, um inquirido polaco e um português diferem em dimensões medidas, não por estereótipo. Eis o que isso corrige:
| Modo de falha | A ancoragem resolve? |
|---|---|
| Achatamento da distribuição | Em parte. Recupera variância entre personas; não torna válidas estatísticas de dispersão. |
| Perfil desigual de opinião por defeito | Em parte, na Europa. Fora da cobertura do ESS e do Eurobarómetro, o enviesamento de base não muda. |
| Dependência da formulação | Não. É uma propriedade do comportamento do modelo, gerida pelo desenho da pergunta. |
| Especificidade alucinada | Não. A ancoragem limita atitudes, não anedotas inventadas. |
| Dados escassos sobre populações raras ou acontecimentos pós-corte | Não — torna o limite explícito, sem o eliminar. |
Três «não» e dois «em parte». A ancoragem separa um método por vezes útil de um método que nunca o é; não separa simulação de medição.
Onde a investigação sintética serve hoje o seu propósito
| Use-a para | Não a use para |
|---|---|
| Exploração inicial e geração de hipóteses | Decisões finais de avançar / não avançar |
| Triagem de conceitos e mensagens — de vinte para três | Investigação de preços e disposição a pagar |
| Pilotar um guião de entrevista ou questionário | Populações sensíveis, estigmatizadas ou raras |
| Pré-testes criativos e publicitários, quando a saída é uma classificação | Fundamentação de alegações reguladas e conformidade |
| Primeiras passagens entre mercados para orientar orçamento de campo | Qualquer número destinado a uma administração como estimativa |
| Mapeamento de objeções e alinhamento de partes interessadas | Usabilidade, comportamento observado, experiência vivida |
A coluna da esquerda é a recomendação da revisão de Sarstedt: pré-teste e piloto a montante. O resultado é comparativo; errar redireciona o passo seguinte em vez de lançar uma decisão. O módulo quantitativo da SynthFolk é feito para essa coluna: 50 a 250 inquiridos, lidos como comparações, não como estimativas.
Como validar resultados sintéticos nos seus próprios estudos
Referenciais ao nível da categoria dizem pouco sobre a sua categoria. A defesa de Golder e colegas de investigação que começa nos dados aplica-se aqui: trabalho ancorado num fenómeno real, que usa dados e produz perceção válida sem esperar por teoria.
1. Faça back-test a um estudo já realizado. Pegue numa investigação real dos últimos doze meses e refaça sinteticamente a pergunta central, às cegas quanto ao resultado se possível. Compare a classificação, não os números. A concordância direcional nos estudos em que confia é a sua taxa real de precisão.
2. Execute um estudo humano paralelo, contra a linha de base certa. Para uma decisão real, faça ambos: o estudo sintético e um pequeno painel real com as mesmas quotas. A linha de base decide tudo. A carta de Sharp, Danenberg e Bellman na PNAS mostra o risco: a publicidade segmentada fora testada contra publicidade deliberadamente mal segmentada, não contra publicidade não segmentada; ganhou apenas dois de cinco experiências, aproximadamente o que o acaso prevê.
3. Faça teste-reteste do lado sintético. Repita o estudo idêntico, depois com perguntas reordenadas e parafraseadas. A instabilidade limita a resolução disponível para a sua pergunta. Se A e B trocam de lugar quando reordena, a diferença nunca foi real. Registe a versão do modelo: uma repetição numa versão nova é um estudo novo.
4. Verifique subgrupos e dispersão. As células demográficas diferem como os dados populacionais dizem que deveriam? As distribuições têm caudas? Subgrupos colapsados e caudas ausentes significam que o painel não está a fazer o trabalho que imagina.
5. Confirme a decisão com humanos. Tudo o que sobreviver passa por utilizadores reais antes de avançar. Não é opcional; é mais barato porque a passagem sintética eliminou candidatos errados e corrigiu perguntas defeituosas.
Comece pelos passos 1 e 3. Custam poucos créditos — os preços são publicados, ao contrário da maior parte deste mercado — e dizem-lhe mais do que qualquer referencial de fornecedor.
O nosso próprio referencial (em breve)
Estamos a realizar um estudo frente a frente: um inquérito de cinco perguntas, aplicado duas vezes, através do módulo quantitativo da SynthFolk e de um painel real com quotas correspondentes num mercado europeu. As perguntas estão pré-registadas e incluem deliberadamente um tipo que a literatura diz que deve falhar: sensibilidade ao preço. Publicaremos diferenças de distribuição, correlações de ordem, taxas de concordância direcional, diferenças por subgrupo, ambos os custos e os dados brutos.
Ainda não existe. Quando existir, terá ligação aqui. Até lá, trate cada afirmação desta página como raciocínio a partir da literatura abaixo e da nossa experiência operacional, não como resultado medido.
A conclusão honesta
A investigação sintética complementa, não substitui. Concretamente, altera a economia de perguntas que nunca financiaria e melhora a investigação que financia, eliminando caminhos errados antes de pagar trabalho de campo. Não produz evidência sobre pessoas; produz uma crença prévia rápida e barata sobre o que as pessoas podem dizer, que depois verifica.
Uma equipa que substitui a função de investigação por um painel sintético não poupou dinheiro: comprou uma máquina eloquente para confirmar aquilo em que já acreditava. Uma equipa que usa primeiro o sintético e depois o humano pode pagar melhor investigação humana.
Perguntas frequentes
Os utilizadores sintéticos são suficientemente precisos para uma decisão real?
Para decisões que estreitam um conjunto — que três conceitos avançam, que mercado investigar primeiro — sim, com o protocolo acima. Para decisões que comprometem orçamento, equipa ou lançamento, não.
Os inquiridos sintéticos podem substituir um painel?
Não, e a própria formulação é o problema. Substituem os estudos que nunca iria executar. Onde um painel é realmente necessário — tudo o que é medido, regulado, sensível ou comportamental — não há substituto.
Qual é a margem de erro?
Não existe, e qualquer fornecedor que cite uma está a usar mal o termo. A margem de erro é propriedade da amostragem probabilística; inquiridos sintéticos não têm base de amostragem. Pode medir a concordância com resultados passados e a estabilidade entre repetições — passos 1 e 3.
Que tipos de pergunta nunca devo fazer?
Preços exatos e disposição a pagar, recordação espontânea de marca ou publicidade, frequência de comportamento passado, tudo após o corte de treino, tudo o que seja estigmatizado e qualquer resposta que pretenda citar em percentagem. A frequência comportamental é o caso mais claro: Tanusondjaja e colegas estabeleceram rácios de Pareto para uma cadeia de grandes armazéns a partir de mais de 550 milhões de transações. Nenhum prompt o substitui.
Como se compara isto com um painel humano de baixa qualidade?
É a comparação mais justa e a que muda mais depressa. Painéis baratos trazem inquiridos desatentos e fraude, que mais respostas curam parcialmente; painéis sintéticos acrescentam enviesamento correlacionado, que mais respostas agravam ao estreitar a confiança em torno da resposta errada. Lin relata que cerca de 34% dos inquiridos da Prolific dizem usar IA em perguntas abertas, subindo a 73% na Mechanical Turk em alguns tipos de tarefa, e que um agente autónomo passou 99,8% de 6.000 testes de atenção. «Painel real» já não é uma linha de base limpa.
Execute o protocolo de validação na sua própria pergunta. Pegue num estudo cuja resposta já conhece e refaça-o sinteticamente — um pequeno estudo qualitativo custa cerca de dez créditos, e novas contas começam com o suficiente. Abra o painel e faça back-test a uma pergunta. O único referencial que deve mudar a sua decisão é saber se o painel reproduz o que já sabe.
Referências
Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.
Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data
European Social Survey. https://www.europeansocialsurvey.org/
Eurobarometer, European Commission. https://europa.eu/eurobarometer/
Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.
Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.
Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.
Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.
MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/
Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.
Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research
Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.
Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/
Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.
Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.
Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.
Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.
Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.
Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.
Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.