¿Qué precisión tienen los encuestados sintéticos? Lo que dice la evidencia

2026-08-13 · 21 min de lectura

Los encuestados sintéticos son lo bastante precisos para ordenar opciones, comparar mensajes y mapear objeciones. No lo son, en cambio, para producir una cifra defendible. La evidencia publicada respalda un uso direccional y comparativo, no tratar las respuestas simuladas como datos de encuesta. La diferencia entre ambos usos determina si el método le ayuda o le conduce silenciosamente al error.

Ideas clave

• La precisión no es una sola cosa. Coincidencia de distribuciones, concordancia direccional y predicción individual son tres estándares distintos, y los encuestados sintéticos rinden de forma muy diferente en cada uno.
• Los críticos tienen razón en lo esencial sobre los modos de fallo. La dependencia del encuadre, la varianza aplanada, la especificidad alucinada y un perfil de opinión por defecto desigual están documentados, y ningún modelo mayor los corrige.
• El anclaje en datos reales de encuestas es el principal factor de calidad: un modelo más grande sin anclaje sigue devolviendo la opinión mediana de internet disfrazada.
• Ningún proveedor, nosotros incluidos, puede darle una cifra de validez para su categoría. El único punto de referencia que debería gobernar sus decisiones es el que usted ejecute contra sus propios estudios.

Casi todo lo que se escribe sobre esto adopta uno de dos tonos: proveedores que afirman equivalencia e investigadores que descalifican el método por principio. Este artículo reconoce lo que hay que reconocer y precisa cuándo los usuarios sintéticos producen un resultado que merece orientar una acción. Si la categoría le resulta nueva, empiece por cómo se construyen las personas sintéticas: de ello depende el argumento sobre la precisión.

Por qué esta pregunta es difícil de responder

«¿Son precisos los usuarios sintéticos?» es una pregunta imposible de responder tal como está planteada, porque preciso encierra tres significados incompatibles.

Coincidencia de distribuciones. ¿Reproduce la muestra sintética la distribución de respuestas de la población: la misma proporción que elige la opción B, la misma media en una escala de 1 a 7? Es el estándar más estricto y el que necesita el dimensionamiento de mercado.

Concordancia direccional. ¿Elige al mismo ganador, ordena las opciones igual y se mueve en la misma dirección entre dos condiciones? Es un estándar menos exigente, sobre el que descansan la mayoría de las decisiones de producto.

Predicción individual. ¿Puede un agente construido con los datos de una persona reproducir las respuestas de esa persona? Es una frontera de investigación, en gran medida irrelevante comercialmente, pero con una referencia razonable. Al construir el conjunto de datos Twin-2K-500 en Columbia, Toubia y sus colegas repitieron tareas en una última oleada para evaluar la precisión de los gemelos frente al test-retest: hasta qué punto las personas reproducen sus propias respuestas. La concordancia perfecta no es el objetivo, porque ni siquiera los humanos la alcanzan.

Un proveedor que afirma alta precisión suele referirse a la concordancia direccional; un crítico que reporta el fracaso suele referirse a la coincidencia de distribuciones. Ambos pueden tener razón.

Qué encontró realmente la investigación

La literatura es joven, desigual y más sólida de lo que sugiere el marketing de cualquiera de los dos bandos. La tabla recoge lo que se ha probado, no una clasificación de resultados.

Ninguno de estos resultados procede de SynthFolk, y ninguno autoriza una afirmación general como «los encuestados sintéticos son precisos en un X %»: la precisión depende del tipo de pregunta, el mercado, el modelo y el anclaje. Esta condicionalidad no es una excusa de la investigación sintética, sino una norma de la ciencia del marketing: al repasar las generalizaciones empíricas de la publicidad, Wind y Sharp señalan que incluso las leyes bien establecidas adolecen de un conocimiento insuficiente de las condiciones en las que se generalizan. Sarstedt y colegas llegan al mismo punto que este artículo: las muestras de silicio «resultan especialmente prometedoras en las fases iniciales del proceso de investigación, como el pretest cualitativo y los estudios piloto», y mucho menos en los estudios principales.

Dónde coinciden los encuestados sintéticos con los reales

Frente al estándar direccional, con un anclaje razonable:

• Ordenación de opciones. Cuáles de seis propuestas de valor funcionan y cuáles no. Los juicios relativos resisten sesgos que los absolutos no superan.
• Dirección actitudinal general. Si un mercado está más preocupado por la privacidad que otro; si una afirmación resulta tranquilizadora o exagerada. Es el ámbito en el que las distribuciones agregadas de Sun se acercaron a los sondeos reales.
• Diferencias gruesas entre segmentos. Grupos amplios y bien documentados —franjas de edad, urbano y rural, confianza institucional alta y baja— donde los datos poblacionales son abundantes.
• Inventarios de objeciones. Lo que la gente dice que le impediría comprar. Está recopilando un conjunto, no midiendo su frecuencia.

Dónde no

Frente al estándar de distribución, los fallos son predecibles de antemano:

• Sensibilidad al precio con cualquier grano útil. Las tareas de valor económico son justamente donde la revisión de Sarstedt registra fallos de replicación: efecto dotación, contabilidad mental, falacia del coste hundido.
• Intención absoluta, incidencia y cifras de previsión. «El 62 % cambiaría» tiene la gramática de un dato y ninguna de sus propiedades. Lin muestra lo poco que hace falta para mover una cifra así: insertar entre 10 y 52 encuestados sintéticos en muestras de sondeo de 1.600 cambiaba qué candidato encabezaba el resultado.
• Poblaciones de baja incidencia y especializadas. Los datos de anclaje son más escasos donde más está en juego, y un anclaje pobre no se anuncia.
• Recuerdo de marca y de publicidad, y cualquier cosa posterior al corte de entrenamiento. Para Romaniuk y Sharp, la saliencia es la propensión de una marca a venir a la mente en una situación de compra, una propiedad de la red de memoria del comprador, y la replicación de Macdonald y Sharp muestra la notoriedad funcionando como heurístico de elección duradero en condiciones reales de compra. Un modelo de texto no tiene ni lo uno ni lo otro.
• Material culturalmente sensible. Lin observa que las respuestas mediadas por IA a preguntas intergrupales sensibles son más positivas y abstractas, y mucho menos propensas a recoger negatividad dura: el aplanamiento pasa a ser ofensivo además de erróneo.
• Desgloses por subgrupo. Partir 200 encuestados sintéticos en seis celdas produce seis reformulaciones de la mayoría por defecto, y el resultado de Sun indica que el error ni siquiera se reparte por igual entre ellas.

En qué aciertan los críticos

Los textos más citados sobre este asunto son críticos y aciertan al describir el mecanismo.

Rosala y Moran, del Nielsen Norman Group, sostienen que los «usuarios» generados por IA no pueden sustituir a los reales y conceden un único uso estrecho: ensayar una guía de discusión en un dominio desconocido antes de reunirse con participantes reales. Papangelis, en ACM Interactions, nombra la «falacia de la persona sintética» —el deslizamiento desde artefacto verosímil hasta representante de un colectivo— y añade un problema de blanqueo de sesgos, por el que las voces dominantes de los datos de entrenamiento regresan convertidas en la población. Chapman, en el Quant UX Blog, señala que la estadística de encuestas no se aplica a muestras extraídas de un modelo, y la revisión de experimentos publicados de MeasuringU coincide: generación de hipótesis, no decisiones finales.

No toda la resistencia tiene que ver con la validez —Castelo, Bos y Lehmann muestran que se confía menos en los algoritmos para tareas que simplemente parecen subjetivas, con independencia de su rendimiento, y el insight cualitativo es el caso arquetípico—. Por ello, el escepticismo y la evidencia deben considerarse por separado. Cuatro críticas, sin embargo, son estructurales y no meros problemas de madurez.

1. Dependencia del encuadre. Los modelos responden a la pregunta que se les entrega, en los términos en que se les entrega. Pregunte «¿usaría esta función?» y la tasa base de síes será una propiedad del prompt. El grupo de Toubia cita trabajos que muestran que las respuestas pueden quedar dominadas por la arquitectura del prompt, solo con el etiquetado y el orden de las opciones. El caso de Lin es más crudo: una única instrucción de no responder nunca de forma negativa sobre un país desplazó la identificación del principal adversario de Estados Unidos en una muestra sintética de un 86 % que señalaba a China a un 88 % que señalaba a Rusia.

2. Aplanamiento de la distribución. Las muestras sintéticas presentan una dispersión demasiado baja. En un esfuerzo de replicación recogido en la revisión de Sarstedt, seis de catorce estudios mostraron un «efecto de respuesta correcta»: el modelo respondía de forma muy uniforme, sin variación o casi. Los hallazgos de Lin sobre homogeneidad y truncamiento de colas describen el mismo problema desde otro ángulo, y Valenzuela y sus coautores nombran el mecanismo: reduccionismo paramétrico, representar a una persona con unos pocos parámetros y perder todo lo que estos no recogen. Cualquier estadístico que dependa de la dispersión deja de ser válido.

3. Especificidad alucinada. Si se le pide detalle, el modelo lo suministra: una marca que «siempre» compra, un precio que pagó. Bien formado e inventado. La evidencia más nítida procede del cribado clínico. Fernandez, Berner y Shevlin generaron 2.106 personas sintéticas a partir de 13 perfiles diagnósticos y las sometieron a siete instrumentos psiquiátricos validados. Con solo descripciones breves, y sin contenido de los instrumentos en los prompts, el modelo produjo puntuaciones congruentes con el diagnóstico por encima de los puntos de corte clínicos y crecientes de forma monótona con la gravedad. Concluyen que responder de forma coherente por encima del umbral «ya no puede servir como indicio de participación auténtica». El peligro no es la ficción con mala gramática. Es la ficción que supera el instrumento validado.

4. Un perfil de opinión por defecto desigual. Los corpus de entrenamiento sobrerrepresentan a algunas poblaciones, como argumenta Papangelis, y el prompting demográfico desplaza esa opción por defecto solo en parte. El equipo de Sun lo mide: el método que reproduce bien los sondeos nacionales pierde fidelidad de forma desigual entre subgrupos y temas, siguiendo los sesgos inherentes al modelo. La abreviatura habitual —occidental, educado, industrializado, rico y democrático— da la dirección; el problema es que el resultado nunca indica qué celdas no son fiables.

Qué determina realmente la calidad de un encuestado sintético

El factor decisivo no es la elección del modelo, sino aquello en lo que se ancla la persona.

Un prompt sin anclaje que describa a «una profesora de 34 años en Lyon» devuelve la idea previa del modelo sobre las profesoras francesas. Diez personas así coincidirán porque proceden de una misma distribución muestreada diez veces; la mayoría de las malas experiencias con investigación sintética nacen de esa configuración. El resultado de Sun ofrece el contrapunto constructivo: dar al modelo la distribución de un grupo, en lugar de una caricatura, acercó las respuestas sintéticas a los sondeos reales. La unanimidad informa sobre el modelo, no sobre el mercado.

SynthFolk condiciona las personas con la Encuesta Social Europea y el Eurobarómetro —encuestas probabilísticas amplias y documentadas—, más un mapeo demográfico y cinco regiones culturales europeas, de modo que un encuestado polaco y uno portugués difieren en dimensiones medidas y no por estereotipo. Qué corrige eso:

Tres «no» y dos «en parte». El anclaje distingue un método que a veces sirve de otro que no sirve nunca; no elimina, sin embargo, la diferencia entre simulación y medición.

Para qué sirve hoy la investigación sintética

La columna izquierda recoge la recomendación de la propia revisión de Sarstedt —pretest y pilotaje en las fases iniciales—. Su resultado es comparativo, de modo que un error redirige el siguiente paso en vez de comprometer una decisión. El módulo cuantitativo de SynthFolk está pensado para esa columna: de 50 a 250 encuestados, cuyos resultados deben leerse como comparaciones y no como estimaciones.

Cómo validar los resultados sintéticos con sus propios estudios

Los puntos de referencia de una categoría dicen poco sobre la suya. El argumento de Golder y colegas a favor de una investigación que empieza por los datos también aplica aquí: trabajo anclado en un fenómeno real y en datos, capaz de producir un insight válido sin esperar a la teoría.

1. Contraste retrospectivamente un estudio que ya haya ejecutado. Tome investigación real de los últimos doce meses y vuelva a plantear su pregunta central en versión sintética, a ciegas respecto al resultado si le es posible. Compare la ordenación, no las cifras. La concordancia direccional en estudios en los que confía es su tasa de precisión real.

2. Ejecute un estudio humano en paralelo, con la línea base correcta. Para una decisión concreta en curso, lance ambas versiones: el estudio sintético y un panel real pequeño con las mismas cuotas. La línea base lo determina todo. La carta de Sharp, Danenberg y Bellman en PNAS sirve de advertencia: al revisar un célebre resultado de segmentación psicológica, muestran que el original comparaba anuncios segmentados con anuncios deliberadamente mal segmentados, no con publicidad no segmentada; la segmentación ganó solo en dos de cinco experimentos —aproximadamente lo que predice el azar— y la calidad creativa no estaba controlada. Una línea base débil produce un resultado engañoso.

3. Aplique test-retest a la parte sintética. Repita el estudio idéntico y luego una vez más con las preguntas reordenadas y parafraseadas. Es la lógica de Twin-2K-500 aplicada a su propio trabajo: la inestabilidad delimita la resolución que el método ofrece para su pregunta. Si A y B intercambian posiciones al cambiar el orden, la diferencia nunca fue real. Registre la versión del modelo: según Ong, repetir con una versión nueva equivale a un estudio nuevo.

4. Revise subgrupos y dispersión. ¿Las celdas demográficas difieren tal como deberían según los datos poblacionales? ¿Las distribuciones tienen colas? Los subgrupos colapsados y las colas ausentes indican que el panel no está cumpliendo la función que usted le atribuye.

5. Confirme la decisión con humanos. Todo lo que sobreviva debe pasar por usuarios reales antes del lanzamiento. No es opcional, y resulta más barato que antes: la pasada sintética ya descartó a los candidatos equivocados y corrigió las preguntas defectuosas.

Empiece por los pasos 1 y 3. Cuestan unos pocos créditos —los precios son públicos, a diferencia de la mayoría de este mercado— y le dirán más que cualquier benchmark de proveedor.

Nuestro propio benchmark (en preparación)

Estamos realizando un estudio comparativo directo: una encuesta de cinco preguntas lanzada dos veces, mediante el módulo cuantitativo de SynthFolk y un panel real con cuotas equivalentes en un mercado europeo. Las preguntas están preregistradas e incluyen deliberadamente un tipo que, según la literatura, debería fallar: la sensibilidad al precio. Publicaremos las diferencias de distribución, las correlaciones de orden, las tasas de concordancia direccional, las diferencias por subgrupo, ambas cifras de coste y los datos en bruto.

Todavía no existe. Cuando esté disponible, lo enlazaremos aquí. Hasta entonces, trate cada afirmación de esta página como un razonamiento basado en la literatura enumerada más abajo y en nuestra experiencia operativa, no como un resultado medido.

La conclusión honesta

La investigación sintética es un complemento, no un sustituto. La frase está muy repetida, así que conviene concretarla: cambia la economía de preguntas que nunca financiaría y afina la investigación que sí financia al eliminar desvíos antes de pagar el trabajo de campo. No produce evidencia sobre personas. Produce una estimación previa, rápida y barata, de lo que la gente podría decir, que después usted contrasta.

Un equipo que reemplaza su función de investigación por un panel sintético no ahorra dinero: compra una máquina elocuente para confirmar lo que ya creía. Un equipo que primero trabaja en sintético y después con humanos puede permitirse una mejor investigación humana.

Preguntas frecuentes

¿Son los usuarios sintéticos lo bastante precisos para una decisión real?

Para decisiones que reducen un conjunto —qué tres conceptos avanzan, qué mercado investigar primero—, sí, con el protocolo anterior. Para decisiones que comprometen presupuesto, plantilla o un lanzamiento, no.

¿Pueden los encuestados sintéticos sustituir a un panel?

No, y el planteamiento es el problema. Sustituyen a los estudios que no iba a ejecutar en absoluto. Donde un panel es realmente necesario —cualquier cosa medida, regulada, sensible o conductual—, no hay sustituto.

¿Cuál es el margen de error?

No hay ninguno, y cualquier proveedor que cite uno está usando mal el término. El margen de error es una propiedad del muestreo probabilístico; los encuestados sintéticos no tienen marco muestral. Lo que sí puede medir es la concordancia con sus resultados anteriores y la estabilidad entre repeticiones: los pasos 1 y 3.

¿Qué tipos de pregunta no debería hacer nunca?

Precios exactos y disposición a pagar, recuerdo espontáneo de marca o de publicidad, frecuencia de un comportamiento pasado, cualquier cosa posterior al corte de entrenamiento, cualquier cosa estigmatizada y cualquier respuesta que pretenda citar como porcentaje. La frecuencia conductual es el caso más claro: Tanusondjaja y colegas establecieron ratios de Pareto para una cadena de grandes almacenes a partir de más de 550 millones de transacciones. Ningún prompt sustituye eso.

¿Cómo se compara esto con un panel humano de baja calidad?

Es la comparación más justa y la que está cambiando más deprisa. Los paneles baratos atraen encuestados desatentos y fraude, algo que un mayor número de respuestas corrige en parte; los paneles sintéticos añaden sesgo correlacionado, que más respuestas agravan al estrechar la confianza en torno a la respuesta equivocada. Pero ambos problemas convergen desde el lado humano. Lin informa de que alrededor del 34 % de los encuestados de Prolific declaran usar IA en preguntas abiertas, cifra que sube al 73 % en Mechanical Turk para algunos tipos de tarea, y de que un agente autónomo superó el 99,8 % de 6.000 controles de atención diseñados para detectar humanos descuidados. Un «panel real» ya no es una línea base limpia.

Ejecute el protocolo de validación sobre su propia pregunta. Tome un estudio cuya respuesta ya conozca y vuelva a lanzarlo en versión sintética: un estudio cualitativo pequeño cuesta unos diez créditos y las cuentas nuevas empiezan con suficientes. Abra el panel y contraste retrospectivamente una pregunta. Que la simulación reproduzca lo que usted ya sabe es el único punto de referencia que debería moverle.

Referencias

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.