Como validar investigação sintética com evidência humana
Valide a investigação sintética comparando um resultado predefinido com evidência humana relevante que o processo de geração não recebeu. Verifique também uma referência simples e repita a simulação. A concordância com pessoas e a estabilidade entre execuções respondem a perguntas diferentes; nenhuma deve ser substituída por uma transcrição convincente ou uma única afirmação global de exatidão.
A nossa análise da exatidão dos respondentes sintéticos aborda o debate mais amplo. Este guia propõe um protocolo aplicado a uma tarefa específica. Não é uma avaliação de desempenho concluída do SynthFolk nem uma garantia de que qualquer tarefa será aprovada.
1. Defina o objetivo e a decisão
Especifique exatamente o que a simulação deve reproduzir: uma ordenação de conceitos, uma distribuição de respostas, objeções específicas ou respostas individuais. Não utilize a mesma métrica para os quatro casos. Um modelo pode identificar a opção preferida e, simultaneamente, errar na dimensão dessa preferência.
Indique o que um resultado útil permitiria fazer. Se a finalidade é preparar um questionário, o resultado útil pode ser identificar ambiguidades que depois se observam num pré-teste com pessoas. Se a finalidade é prever uma distribuição agregada, a comparação deve medir o erro na distribuição. Estas tarefas exigem material de referência diferente.
Escolha o erro aceitável antes de examinar o resultado. O limiar deve refletir a decisão: inverter os dois conceitos mais bem classificados pode importar mais do que uma pequena discrepância entre conceitos já rejeitados. Não existe um limiar numérico universal que torne a investigação sintética válida para todas as utilizações.
2. Separe os dados permitidos das respostas de avaliação
Prepare o briefing, a definição do público, o estímulo e as perguntas. Exclua as respostas humanas usadas na pontuação do material fornecido à simulação. Se utilizar um estudo anterior para melhorar as instruções, reserve outro estudo ou parte da evidência para avaliação.
A distinção é explícita na versão consultada de Twin-2K-500, de Toubia e colegas (2025). Separa informação para a persona, respostas reservadas para avaliação e respostas humanas posteriores de reteste. O conjunto de dados e a tarefa de gémeos digitais diferem de uma simulação comercial genérica, mas esta separação esclarece o que uma verificação independente exige.
Considere também uma possível exposição durante o treino. O resultado de um inquérito amplamente publicado pode ter estado presente no material de treino do modelo. Nem sempre é possível excluir essa possibilidade num modelo proprietário. Documente-a e prefira uma referência privada ou recém-recolhida adequada, quando permitido, em vez de afirmar que qualquer reprodução histórica demonstra generalização.
3. Verifique a referência humana
Os dados humanos são uma referência, não uma verdade automaticamente isenta de falhas. Examine elegibilidade, recrutamento, qualidade das respostas, exclusões, formulação do instrumento e período de recolha. Um inquérito a um grupo de clientes não pode validar uma previsão para outra população sem pressupostos adicionais.
Torne as condições comparáveis. Se as pessoas viram um estímulo visual e o modelo recebeu apenas um resumo escrito pelo investigador, a comparação altera simultaneamente o tipo de respondente e os dados de entrada. Pode ser uma comparação útil entre processos, mas deve ser identificada como tal.
Mantenha visível a incerteza da estimativa humana. Se duas estimativas humanas são imprecisas, pequenas diferenças entre elas e o modelo podem não sustentar uma conclusão forte. Por outro lado, um painel humano de baixa qualidade não deve justificar erros arbitrários do modelo.
4. Compare com uma referência simples
Uma simulação complexa tem de acrescentar algo face a uma alternativa mais simples. Para respostas categóricas, uma referência pode prever a categoria mais frequente em dados de treino separados. Numa tarefa de ordenação, pode usar uma classificação histórica estabelecida, quando relevante. Na preparação de instrumentos, pode ser a revisão de uma lista de verificação por um analista.
Escolha a referência com informação disponível no momento da previsão. Uma referência ajustada às respostas de avaliação deixa de ser justa. Não a enfraqueça deliberadamente para fazer a simulação parecer útil.
Registe tanto o desempenho absoluto como a melhoria face à referência. Se ambos escolhem o mesmo vencedor, a simulação pode acrescentar explicações, mas estas precisam da sua própria avaliação. Uma classificação correta não demonstra que o raciocínio gerado descreve como as pessoas decidiram.
5. Utilize um conjunto reduzido de medidas interpretáveis
| Objetivo | Comparação útil | Limitação importante |
|---|---|---|
| Distribuição categórica | Diferenças em pontos percentuais para cada opção | A concordância agregada pode esconder erros em subgrupos |
| Ordenação | Concordância na ordem e alteração da opção líder | A correlação pode ocultar uma inversão importante perto do topo |
| Preocupações em respostas abertas | Revisão humana de temas coincidentes, omitidos e sem apoio | Uma explicação fluente pode continuar sem sustentação |
| Respostas individuais | Previsão em dados reservados face a uma referência definida | Exige dados de referência individuais e uma tarefa adequada |
| Repetibilidade | Variação entre execuções repetidas do modelo | Mede a estabilidade do modelo, não a validade face a pessoas |
Não reduza estas medidas a uma pontuação sem explicação. Conserve os resultados originais para que os leitores possam inspecionar os erros. Nos temas, distinga uma hipótese adicional plausível de uma afirmação inventada sobre um participante. A primeira pode ajudar a planear investigação; a segunda não é uma observação.
Sun e colegas (2024) observaram que a simulação condicionada por dados demográficos variava por subgrupo e pergunta na sua aplicação a inquéritos de opinião. Isso sustenta olhar para além de uma métrica agregada. Não prescreve um teste universal de subgrupos nem estabelece o desempenho na sua categoria.
6. Teste a estabilidade sem selecionar uma execução favorável
Repita a mesma configuração e conserve todas as execuções incluídas na avaliação. Depois faça alterações planeadas na formulação ou na ordem que não devam mudar fundamentalmente a tarefa. Registe se as conclusões mudam. Mantenha esta análise de sensibilidade separada da estimativa inicial de desempenho.
Ong (2024) salienta a importância de comunicar instruções, procedimentos, definições do modelo e datas de acesso. Aplique esse princípio aos controlos disponíveis. Se um fornecedor não disponibiliza uma definição ou altera silenciosamente um modelo, documente a limitação em vez de inventar um valor.
Não ajuste até surgir a resposta esperada para depois apresentar essa execução como uma replicação bem-sucedida. O ajustamento é desenvolvimento. Requer uma avaliação posterior com material não utilizado para ajustar.
A concordância humana entre teste e reteste é outra quantidade distinta. No Twin-2K-500, as pessoas respondem novamente a algumas tarefas para estabelecer uma referência humana de previsibilidade. Repetir um inquérito de IA não fornece essa referência humana, e não existe justificação automática para dividir um valor de concordância por outro sem uma medida claramente definida.
7. Transforme o resultado num limite explícito de utilização
Suponha, num exemplo inventado, que uma simulação reproduz o vencedor global numa comparação de embalagens, mas falha o vencedor entre compradores ocasionais da categoria. Se esse subgrupo importa para o lançamento, a coincidência global é insuficiente. A próxima ação pode ser mais investigação com pessoas ou rejeitar a simulação para essa decisão.
Em alternativa, suponha que um ensaio sintético identifica repetidamente uma pergunta de elegibilidade confusa que as pessoas também interpretam mal num pré-teste. Isso é evidência de utilidade para preparar o instrumento nessas condições. Não é evidência de que o mesmo sistema prevê taxas de compra.
Formule a conclusão de forma restrita: tarefa, população, estímulo, configuração, referência e falhas observadas. Enumere as utilizações que a avaliação não cobriu. Sarstedt e colegas (2024) reveem resultados dependentes do domínio e discutem funções adequadas para amostras de silício; a revisão não elimina a necessidade deste juízo específico da tarefa.
Comece com uma tarefa verificável. Prepare o briefing, conserve separadamente a referência humana e utilize o processo do SynthFolk adequado. Consulte os preços e o guia de dimensão da amostra antes de planear execuções repetidas. Este protocolo, por si só, não estabelece que o SynthFolk tenha passado qualquer avaliação externa de desempenho.
Fontes e método editorial
O protocolo de sete passos e o cenário das embalagens são aplicações propostas. A investigação citada fornece distinções metodológicas; não se apresentam aqui resultados de avaliações de desempenho. As referências a preprints identificam as versões consultadas na bibliografia local.
- Toubia, O., et al. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479, version 1.
- Sun, S., et al. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144, version 1.
- Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464, version 1.
- Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing. DOI: 10.1002/mar.21982.