Dimensão da amostra sintética: mais respostas não provam exatidão
A dimensão da amostra de um inquérito sintético conta respostas geradas. Aumentar esse número pode estabilizar uma estimativa do que um modelo configurado produz, mas não melhora automaticamente a exatidão sobre pessoas. Escolha o número de execuções de acordo com a tarefa e a incerteza examinada, em vez de aplicar a linhas geradas uma regra de margem de erro de inquéritos humanos.
Esta distinção complementa a nossa análise da exatidão dos respondentes sintéticos. A questão prática é como gastar um orçamento de simulação sem confundir repetição com evidência adicional sobre o mercado.
Pergunte o que varia quando gera outra resposta
Num inquérito com pessoas, um participante adicional pode contribuir com a resposta de outra pessoa, dependendo do desenho amostral e da qualidade dos dados. Num inquérito sintético, outra linha é produzida pelo processo de geração. A sua variação pode resultar de diferentes dados de personas, amostragem aleatória do modelo, diferenças nas instruções ou alterações no próprio modelo.
Estas fontes de variação não são equivalentes. Repetir as instruções de uma persona explora uma quantidade diferente de alterar o perfil do público. Alterar simultaneamente a persona e o modelo torna mais difícil identificar a causa de uma diferença na resposta.
Registe a unidade que pretende estudar. Pode ser uma resposta gerada com uma configuração fixa, um cenário de persona ou uma simulação inteira repetida. Não chame consumidor independente a cada unidade apenas por ter um identificador único.
Separe a variação do modelo do erro sobre pessoas
Imagine um gerador que tende a selecionar a opção A cerca de 60% das vezes numa configuração fixa. Mais extrações podem ajudar a estimar essa tendência. Se a proporção correspondente entre pessoas relevantes for 40%, uma estimativa estável próxima de 60% continua errada para a pergunta sobre pessoas.
O exemplo é inventado para explicar a distinção. Não é uma estimativa do comportamento do SynthFolk nem uma afirmação sobre um modelo específico. A questão geral é que reduzir a variação aleatória não elimina necessariamente uma diferença sistemática entre o processo de geração e a população-alvo.
Para um conjunto idealizado de extrações binárias independentes com probabilidade de 0,60, o erro-padrão da média é sqrt(0.60 × 0.40 / n). É aproximadamente 4,9 pontos percentuais com 100 extrações e 1,5 pontos com 1 000. Estes valores descrevem esse modelo matemático de amostragem. Não são margens de erro para clientes representados por personas de IA, e não se pode simplesmente assumir independência num processo sintético real.
O facto de uma folha de cálculo permitir o cálculo não demonstra que os seus pressupostos descrevem o processo de investigação.
Porque pode uma amostra sintética maior continuar a omitir pessoas importantes
Aumentar o número de respostas geradas não acrescenta ao briefing uma situação de compra em falta. Se todas as personas pressupõem acesso fácil à Internet, gerar mais não revelará a experiência de quem não o tem, a menos que o processo inclua uma forma de representar essa diferença.
Sun e colegas (2024) examinaram simulações condicionadas por distribuições demográficas e observaram variação entre perguntas e grupos demográficos. A aplicação envolveu dados de opinião dos EUA, e o preprint consultado assinala limitações, incluindo possível exposição durante o treino. Não demonstra que uma simulação maior possa ultrapassar uma representação inadequada do público noutro domínio.
Antes de aumentar a contagem, verifique se as distinções entre públicos são relevantes para a pergunta. Uma quota apenas por idade pode contribuir pouco para uma questão determinada pelo acesso ao produto, experiência na categoria ou limitações do agregado familiar. Preencher as quotas escolhidas mostra que a configuração as seguiu; não valida as respostas geradas.
Distribua as execuções pela incerteza que precisa de examinar
| Tarefa de investigação | Razão útil para execuções adicionais | O que as execuções adicionais não podem estabelecer por si só |
|---|---|---|
| Ensaiar um questionário | Procurar mais ambiguidades possíveis e percursos de resposta | Com que frequência as pessoas interpretarão mal um item |
| Verificar uma ordenação simulada | Observar se a ordem muda com a configuração fixa | Que opção preferem os clientes reais |
| Examinar pressupostos sobre o público | Comparar cenários explicitamente definidos | As frequências reais dos cenários na população |
| Testar sensibilidade à formulação | Comparar variantes planeadas de instruções ou ordem | Que formulação produz a estimativa humana mais fiel |
| Avaliar validade externa | Repetir uma comparação predefinida com evidência humana | Generalização para mercados ou tarefas não testados |
Utilize a menor execução inicial que permita examinar o material de forma útil. Aumente-a quando o resultado adicional responder a uma incerteza identificada. Esta é uma proposta de distribuição de recursos, não uma recomendação universal de dimensão da amostra.
Se a pergunta principal é se uma ordenação corresponde às pessoas, outra comparação humana bem desenhada pode informar mais do que um grande aumento de linhas geradas. Se a pergunta principal é se a própria simulação é instável, execuções repetidas do modelo são diretamente relevantes.
Exemplo desenvolvido com um orçamento de simulação fixo
Suponha que uma equipa tem orçamento para várias execuções exploratórias de três descrições de serviços. Pode gastá-lo todo a gerar muitas respostas a um briefing ou reservar execuções para configurações repetidas e alternativas plausíveis do público.
A equipa começa por fixar as descrições, as perguntas e o briefing do público. Repete essa configuração para verificar se a opção líder é estável. Depois altera um pressuposto sobre o público, como a possibilidade de aceder ao serviço durante o horário de trabalho, e examina o que muda. São diferenças entre cenários, não segmentos de mercado medidos.
Se a opção preferida se inverte quando a formulação muda ligeiramente, a equipa regista essa instabilidade. Não seleciona a execução que apoia o lançamento desejado. Se a ordenação permanecer estável, a próxima pergunta continua a ser se concorda com pessoas relevantes.
O exemplo é hipotético. Nenhum número específico de execuções garante um resultado útil, e os controlos disponíveis na plataforma determinam que comparações são possíveis. O objetivo é identificar a pergunta a que cada execução adicional responde.
Apresente a configuração juntamente com a contagem
No mínimo, registe o briefing do público, o estímulo, as perguntas exatas, as opções de resposta, a data e a informação disponível sobre o modelo. Distinga o número de perfis de personas de respostas repetidas e de estudos completos repetidos. Registe exclusões e execuções falhadas em vez de apresentar apenas respostas concluídas.
Ong (2024) discute problemas de reprodutibilidade e a necessidade de instruções, procedimentos e definições detalhados. Se uma ferramenta não disponibiliza um parâmetro, assinale-o como indisponível. Inventar um valor de temperatura é pior do que declarar uma limitação.
Apresente resultados com linguagem ajustada à evidência: «A ordenação manteve-se nas execuções registadas» descreve estabilidade do modelo. «A ordenação coincidiu com o estudo humano reservado para avaliação nas condições especificadas» descreve uma comparação externa particular. Nenhuma das duas, por si só, estabelece fiabilidade universal.
Defina uma regra de paragem antes de interpretar os resultados
Decida quando outra execução deixaria de alterar a próxima ação de investigação. Pode parar o ensaio de um questionário quando os resultados repetidos já não acrescentam uma nova questão que valha a pena verificar, documentando que se trata de uma regra editorial de paragem e não de prova de cobertura completa.
Num exercício de validação, especifique antecipadamente as execuções e comparações e conserve as falhas. Não continue a aumentar a amostra até surgir um resultado preferido. Sarstedt e colegas (2024) enquadram a amostragem de silício num processo de investigação mais amplo; uma contagem sintética maior não elimina os limites dessa utilização.
Orçamente a incerteza, não o número de linhas. Use o modelo de briefing, consulte os preços atuais e planeie o processo quantitativo. Para afirmações sobre pessoas, acrescente a etapa de validação externa que a decisão exige.
Fontes e método editorial
O cálculo de probabilidades é um exemplo matemático explicitamente idealizado. Os cenários de serviços e as sugestões de paragem são aplicações originais, não resultados observados nem recomendações validadas de dimensão da amostra para o SynthFolk.
- Sun, S., et al. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144, version 1.
- Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464, version 1.
- Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing. DOI: 10.1002/mar.21982.