Cómo validar la investigación sintética frente a evidencia humana
Valide la investigación sintética comparando un resultado predefinido con evidencia humana pertinente que el proceso generador no recibió. Compruebe también una referencia simple y repita la simulación. La concordancia con las personas y la estabilidad entre ejecuciones responden preguntas diferentes; ninguna debe sustituirse por una transcripción convincente o una sola afirmación de exactitud global.
Nuestra revisión de la exactitud de participantes sintéticos cubre el debate general. Esta guía propone un protocolo aplicado para una tarea específica. No es una evaluación comparativa completada de SynthFolk ni una garantía de que cualquier tarea aprobará.
1. Defina el objetivo y la decisión
Especifique qué debe reproducir exactamente la simulación: clasificación de conceptos, distribución de respuestas, objeciones concretas o respuestas individuales. No use la misma métrica para las cuatro. Un modelo podría identificar la opción más preferida y equivocarse en la magnitud de la preferencia.
Indique qué permitiría hacer un resultado útil. Si el fin es preparar cuestionarios, el resultado útil puede ser identificar ambigüedades observadas después en un pretest humano. Si es predecir una distribución agregada, la comparación debe medir error distributivo. Estas tareas requieren material de referencia distinto.
Elija el error aceptable antes de examinar el resultado. El umbral debe reflejar la decisión: invertir los dos primeros conceptos puede importar más que una diferencia pequeña entre conceptos ya rechazados. No existe un umbral numérico universal que valide la investigación sintética para todo uso.
2. Separe entradas permitidas de respuestas de evaluación
Prepare brief, definición del público, estímulo y preguntas. Mantenga fuera del material de la simulación las respuestas humanas usadas para puntuar. Si usa un estudio pasado para mejorar prompts, reserve otro estudio o parte de la evidencia para evaluar.
La distinción es explícita en la versión consultada de Twin-2K-500 de Toubia y colaboradores (2025). Separa información de persona, respuestas reservadas de evaluación y respuestas humanas de un retest posterior. Su conjunto de datos y tarea de gemelos digitales difieren de una simulación comercial genérica, pero la separación aclara qué requiere una comprobación independiente.
Considere también la posible exposición durante el entrenamiento. Un resultado de encuesta ampliamente publicado puede haber estado en el material de entrenamiento de un modelo. No siempre se puede excluir esa posibilidad en un modelo propietario. Documéntela y prefiera una referencia privada adecuada o recién recogida donde esté permitido, en lugar de afirmar que cualquier reproducción histórica demuestra generalización.
3. Compruebe la referencia humana
Los datos humanos son una referencia, no una verdad automáticamente impecable. Examine elegibilidad, reclutamiento, calidad de respuesta, exclusiones, redacción del instrumento y período de recogida. Una encuesta a un grupo de clientes no valida una predicción para otra población sin supuestos adicionales.
Haga comparables las condiciones. Si las personas vieron un estímulo visual y el modelo solo recibió un resumen del investigador, la comparación cambia tanto tipo de participante como entrada. Puede ser una comparación útil de procesos, pero debe etiquetarse como tal.
Mantenga visible la incertidumbre de la estimación humana. Si dos estimaciones humanas son imprecisas, diferencias pequeñas entre ellas y el modelo pueden no respaldar una conclusión fuerte. A la inversa, un panel humano de baja calidad no debe excusar errores arbitrarios del modelo.
4. Compare con una referencia sencilla
Una simulación compleja debe aportar algo más allá de una alternativa simple. Para respuestas categóricas, una referencia podría predecir la categoría más frecuente en datos de entrenamiento separados. Para un ranking, podría utilizar una clasificación histórica establecida si es pertinente. Para preparar instrumentos, podría ser la revisión de un analista con una lista de comprobación.
Elija la referencia con información disponible en el momento de predecir. Una referencia ajustada a las respuestas de evaluación deja de ser justa. No la debilite deliberadamente para que la simulación parezca útil.
Registre rendimiento absoluto y mejora frente a la referencia. Si ambos eligen el mismo ganador, la simulación puede añadir explicaciones, pero necesitan su propia evaluación. Una clasificación correcta no establece que el razonamiento generado describa cómo decidieron las personas.
5. Use un conjunto pequeño de medidas interpretables
| Objetivo | Comparación útil | Limitación importante |
|---|---|---|
| Distribución categórica | Diferencias en puntos porcentuales para cada opción | El acuerdo agregado puede ocultar errores de subgrupos |
| Ranking | Concordancia de orden y cambio de la opción líder | La correlación puede ocultar una inversión relevante cerca de la cabeza |
| Preocupaciones abiertas | Revisión humana de temas coincidentes, omitidos y sin respaldo | Una explicación fluida puede seguir sin fundamento |
| Respuestas individuales | Predicción reservada frente a una referencia definida | Requiere datos individuales de referencia y tarea adecuada |
| Repetibilidad | Variación entre ejecuciones repetidas del modelo | Mide estabilidad del modelo, no validez humana |
No reduzca estas medidas a una puntuación inexplicada. Conserve los resultados originales para examinar errores. En temas, distinga una hipótesis adicional plausible de una afirmación inventada sobre un participante. La primera puede ayudar a planificar investigación; la segunda no es observación.
Sun y colaboradores (2024) encontraron variaciones por subgrupo y pregunta en simulación condicionada demográficamente en su aplicación de opinión. Esto respalda mirar más allá de una métrica agregada. No prescribe una prueba universal de subgrupos ni establece rendimiento en su categoría.
6. Pruebe estabilidad sin seleccionar una ejecución favorable
Repita la misma configuración y conserve cada ejecución incluida en la evaluación. Después haga cambios planificados de redacción u orden que no debieran alterar fundamentalmente la tarea. Registre si cambian las conclusiones. Mantenga este análisis de sensibilidad separado de la estimación inicial de rendimiento.
Ong (2024) destaca la importancia de informar de prompts, procedimientos, ajustes del modelo y fechas de acceso. Aplique el principio a los controles disponibles. Si el proveedor no expone un ajuste o cambia silenciosamente el modelo, documente la limitación en vez de inventar un valor.
No ajuste hasta que aparezca la respuesta esperada para presentar esa ejecución como réplica exitosa. Ajustar es desarrollo. Requiere evaluación posterior con material no usado para ajustar.
La concordancia humana entre test y retest es otra cantidad distinta. En Twin-2K-500, las personas responden algunas tareas de nuevo para establecer una referencia humana de predictibilidad. Repetir una encuesta de IA no aporta esa referencia y no justifica automáticamente dividir una cifra de concordancia por otra sin una medida claramente definida.
7. Convierta el resultado en un límite de uso explícito
Suponga, en un ejemplo inventado, que una simulación reproduce el ganador global de una comparación de envases, pero no el ganador entre compradores ocasionales de la categoría. Si ese subgrupo importa para el lanzamiento, la coincidencia global es insuficiente. La acción siguiente podría ser más investigación humana o rechazar la simulación para esa decisión.
Alternativamente, suponga que un ensayo sintético identifica repetidamente una pregunta de elegibilidad confusa que las personas también malinterpretan en un pretest. Eso es evidencia de utilidad para preparar el instrumento en esas condiciones. No es evidencia de que el mismo sistema prediga tasas de compra.
Redacte una conclusión acotada: tarea, población, estímulo, configuración, referencia y fallos observados. Enumere usos no cubiertos. Sarstedt y colaboradores (2024) revisan resultados dependientes del ámbito y roles apropiados de muestras de silicio; su revisión no elimina la necesidad de este juicio específico de tarea.
Empiece por una tarea verificable. Prepare el brief, conserve por separado la referencia humana y use el proceso de SynthFolk adecuado. Consulte precios y la guía de tamaño de muestra antes de planificar repeticiones. Este protocolo por sí mismo no establece que SynthFolk haya superado una evaluación externa.
Fuentes y método editorial
El protocolo de siete pasos y el escenario de envases son aplicaciones propuestas. Las investigaciones citadas aportan distinciones metodológicas; aquí no se afirman resultados de benchmarks. Las referencias de prepublicaciones identifican las versiones consultadas de la bibliografía local.
- Toubia, O., et al. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479, version 1.
- Sun, S., et al. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144, version 1.
- Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464, version 1.
- Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing. DOI: 10.1002/mar.21982.