Quelle est la précision des répondants synthétiques ? Ce que disent les études

2026-08-13 · 21 min de lecture

Les répondants synthétiques peuvent aider à classer des options, comparer des messages et recenser des objections. Ils ne permettent pas, en revanche, de produire un chiffre défendable. Les études publiées soutiennent un usage comparatif et directionnel, pas le traitement de réponses simulées comme des données d'enquête. Tout dépend donc de l'usage que vous en faites : la méthode peut vous aider ou vous induire discrètement en erreur.

À retenir

• La précision ne se résume pas à une seule mesure. Concordance des distributions, accord directionnel et prédiction individuelle sont trois critères distincts, auxquels les répondants synthétiques répondent très différemment.
• Les critiques ont largement raison sur les défaillances. Dépendance au cadrage, variance aplatie, détails inventés et profil d'opinion par défaut inégal sont documentés. Un modèle plus grand ne les corrige pas à lui seul.
• L'ancrage dans des données d'enquête réelles est le principal levier de qualité. Un modèle plus grand sans données de référence ne fait que déguiser l'opinion médiane d'Internet.
• Aucun fournisseur, nous compris, ne peut donner un chiffre de validité pour votre catégorie. Le seul étalon qui devrait guider vos décisions est celui que vous établissez par rapport à vos propres études.

L'essentiel de ce qui s'écrit sur le sujet relève de deux registres : les fournisseurs qui revendiquent l'équivalence, et les chercheurs qui rejettent la méthode par principe. Cet article reconnaît ce qui doit l'être et explique quand les utilisateurs synthétiques produisent un résultat utilisable. Si le sujet est nouveau pour vous, commencez par la façon dont se construisent les personas synthétiques : tout l'argument sur la précision en dépend.

Pourquoi la question est difficile

« Les utilisateurs synthétiques sont-ils précis ? » est une question impossible à trancher telle quelle, car précis peut désigner trois choses différentes.

Concordance des distributions. L'échantillon synthétique reproduit-il la distribution des réponses dans la population : même part pour l'option B, même moyenne sur une échelle de 1 à 7 ? C'est le critère le plus strict, nécessaire pour dimensionner un marché.

Accord directionnel. Désigne-t-il le même gagnant, classe-t-il les options dans le même ordre, évolue-t-il dans le même sens entre deux conditions ? C'est un critère moins exigeant, mais la plupart des décisions produit reposent sur lui.

Prédiction individuelle. Un agent construit à partir des données d'une personne peut-il reproduire les réponses de cette personne ? C'est une question de recherche, peu importante commercialement, mais fondée sur un étalon solide. En construisant le jeu de données Twin-2K-500 à Columbia, l'équipe de Toubia a répété certaines tâches lors d'une dernière vague afin de comparer la précision des jumeaux au test-retest, c'est-à-dire à la capacité des personnes à répéter leurs propres réponses. La concordance parfaite n'est pas la cible, car les humains ne l'atteignent pas non plus.

Un fournisseur qui revendique une forte précision parle généralement d'accord directionnel ; un critique qui constate un échec parle généralement de concordance des distributions. Les deux peuvent avoir raison.

Ce que la recherche a réellement trouvé

La littérature est jeune, inégale, et meilleure que le marketing des deux camps ne le suggère. Le tableau recense ce qui a été tenté, pas un palmarès.

Aucun de ces résultats n'est un résultat SynthFolk, et aucun n'autorise une affirmation générale du type « les répondants synthétiques sont précis à X % » — la précision est conditionnelle au type de question, au marché, au modèle et à l'ancrage. Cette conditionnalité est une norme de la science marketing et non une excuse propre à la recherche synthétique : Wind et Sharp, passant en revue les généralisations empiriques de la publicité, notent que même des lois bien établies souffrent d'une connaissance insuffisante des conditions dans lesquelles elles se généralisent. Sarstedt et ses collègues aboutissent au même endroit que cet article : les échantillons de silicium « sont particulièrement prometteurs dans les parties amont du processus de recherche, comme le prétest qualitatif et les études pilotes », beaucoup moins dans les études principales.

Là où les répondants synthétiques rejoignent les vrais

Selon le critère directionnel, avec un ancrage raisonnable :

• Classement d'options. Laquelle de six propositions de valeur porte, lesquelles sont mortes. Les jugements relatifs survivent à des biais que les jugements absolus ne supportent pas.
• Direction attitudinale large. Savoir si un marché est plus inquiet qu'un autre sur la vie privée ; si une allégation se lit comme rassurante ou comme survendue. Le registre dans lequel les distributions agrégées de Sun tombaient près des sondages réels.
• Différences grossières entre segments. Groupes larges et bien documentés — tranches d'âge, urbain et rural, confiance institutionnelle haute et basse — là où les données de population sont épaisses.
• Inventaires d'objections. Ce que les gens disent qui les empêcherait d'acheter. Vous collectez un ensemble, vous n'en mesurez pas la fréquence.

Là où ils ne rejoignent pas les vrais

Selon le critère de distribution, les échecs sont prévisibles à l'avance :

• La sensibilité au prix, à toute granularité utile. Les tâches de valeur économique sont exactement là où la revue Sarstedt enregistre des échecs de réplication — effet de dotation, comptabilité mentale, coûts irrécupérables.
• Intention absolue, incidence et chiffres de prévision. « 62 % changeraient » a la grammaire d'une donnée et aucune de ses propriétés. Lin montre le peu qu'il faut pour déplacer un tel chiffre : insérer 10 à 52 répondants synthétiques dans des échantillons de sondage de 1 600 a inversé le candidat en tête.
• Populations rares et spécialisées. Les données d'ancrage sont les plus minces là où les enjeux sont les plus hauts, et un ancrage mince ne s'annonce pas.
• Souvenir de marque et de publicité, et tout ce qui suit la coupure d'entraînement. La saillance, pour Romaniuk et Sharp, est la propension d'une marque à venir à l'esprit en situation d'achat — une propriété du réseau de mémoire de l'acheteur — et la réplication de Macdonald et Sharp montre la notoriété agissant comme une heuristique de choix durable en conditions réelles. Un modèle de texte n'a ni l'un ni l'autre.
• Matériaux culturellement sensibles. Lin constate que les réponses médiatisées par l'IA aux questions intergroupes sensibles sont plus positives et plus abstraites, bien moins susceptibles de porter une négativité dure — l'aplatissement devient offensant en plus d'être faux.
• Ventilations par sous-groupe. Découper 200 répondants synthétiques en six cases produit six reformulations du défaut majoritaire, et le résultat de Sun indique que l'erreur n'est même pas uniforme entre elles.

Ce que les critiques ont raison de dire

Les textes les plus cités ici sont critiques, et sur le mécanisme ils ont raison.

Rosala et Moran, au Nielsen Norman Group, soutiennent que des « utilisateurs » générés par IA ne peuvent pas se substituer à de vrais utilisateurs, en concédant un seul usage étroit : répéter un guide d'entretien dans un domaine peu familier avant de rencontrer de vrais participants. Papangelis, dans ACM Interactions, nomme le « sophisme du persona synthétique » — le glissement de l'artefact plausible au porte-parole d'un groupe — et y ajoute un problème de blanchiment de biais, où les voix dominantes des données d'entraînement reviennent sous les traits de la population. Chapman, sur le Quant UX Blog, rappelle que les statistiques d'enquête ne s'appliquent pas à des échantillons tirés d'un modèle, et la revue d'expériences publiées de MeasuringU va dans le même sens : génération d'hypothèses, pas décisions finales.

Toute résistance ne porte pas sur la validité — Castelo, Bos et Lehmann montrent que les algorithmes sont moins bien acceptés pour des tâches qui paraissent subjectives, quelles que soient leurs performances, et l'insight qualitatif en est l'archétype — il faut donc argumenter le scepticisme et les preuves séparément. Quatre critiques, en revanche, sont structurelles plutôt que des maladies de jeunesse.

1. La dépendance au cadrage. Les modèles répondent à la question qu'on leur tend, dans les termes où on la leur tend. Demandez « utiliseriez-vous cette fonctionnalité ? » et le taux de base des oui est une propriété du prompt. L'équipe de Toubia cite des travaux montrant que les réponses peuvent être dominées par l'architecture du prompt — l'étiquetage et l'ordre des options suffisent. Le cas de Lin est plus net encore : une seule instruction de ne jamais répondre négativement à propos d'un pays a fait passer l'adversaire principal des États-Unis, selon un échantillon synthétique, de 86 % pour la Chine à 88 % pour la Russie.

2. L'aplatissement des distributions. Les échantillons synthétiques sous-dispersent. Dans un effort de réplication couvert par la revue Sarstedt, six études sur quatorze présentaient un « effet de bonne réponse » — le modèle répondant de façon hautement uniforme, avec aucune ou presque aucune variation. Les résultats de Lin sur l'homogénéité et la troncature des queues montrent la même forme depuis l'autre bord, et Valenzuela et ses coauteurs nomment le mécanisme : le réductionnisme paramétrique, représenter une personne par quelques paramètres et perdre tout ce qu'ils ne portent pas. Toute statistique dépendant de la dispersion est invalide.

3. La spécificité hallucinée. Demandez du détail, le modèle en fournit : une marque qu'il achète « toujours », un prix qu'il a payé. Bien formé et inventé. La preuve la plus tranchante vient du dépistage clinique. Fernandez, Berner et Shevlin ont généré 2 106 personas synthétiques à partir de 13 profils diagnostiques et les ont soumis à sept instruments psychiatriques validés. Avec pour seule entrée de brèves descriptions, et sans contenu d'instrument dans les prompts, le modèle a produit des scores congruents au diagnostic, au-dessus des seuils cliniques, croissant de façon monotone avec la sévérité. Une réponse cohérente au-dessus du seuil, concluent-ils, « ne peut plus servir d'indicateur de participation authentique ». Le danger n'est pas une fiction mal écrite. C'est une fiction qui passe l'instrument validé.

4. Un profil d'opinion par défaut inégal. Les corpus d'entraînement surreprésentent certaines populations, comme le soutient Papangelis, et l'amorçage démographique ne déplace le défaut que partiellement. L'équipe de Sun le mesure : la méthode qui reproduit bien les sondages nationaux perd en fidélité de façon inégale selon les sous-groupes et les sujets, en suivant les biais inhérents au modèle. Le raccourci habituel — occidental, éduqué, industrialisé, riche, démocratique — donne la direction ; le problème est que la sortie ne dit jamais quelles cases sont peu fiables.

Ce qui détermine réellement la qualité d'un répondant synthétique

Le levier décisif n'est pas le choix du modèle. C'est ce sur quoi le persona est conditionné.

Un prompt sans ancrage décrivant « une enseignante de 34 ans à Lyon » renvoie l'a priori du modèle sur les enseignantes françaises. Dix d'entre elles s'accordent, parce qu'elles sont une seule distribution échantillonnée dix fois, et la plupart des mauvaises expériences en recherche synthétique sont des expériences de ce montage. Le résultat de Sun en est la moitié constructive : donner au modèle la distribution d'un groupe plutôt qu'une caricature est ce qui a rapproché les réponses synthétiques des vrais sondages. L'unanimité est un rapport sur le modèle, pas sur le marché.

SynthFolk conditionne ses personas sur l'European Social Survey et l'Eurobaromètre — de grandes enquêtes probabilistes documentées —, plus un mappage démographique et cinq régions culturelles européennes, de sorte qu'un répondant polonais et un répondant portugais diffèrent sur des dimensions mesurées et non sur un stéréotype. Ce que cela corrige :

Trois « non » et deux « en partie ». L'ancrage fait la différence entre une méthode parfois utile et une méthode qui ne l'est jamais — pas entre simulation et mesure.

Ce à quoi la recherche synthétique est adaptée aujourd'hui

La colonne de gauche est la recommandation même de la revue Sarstedt — prétests et pilotes en amont — et sa sortie est comparative : se tromper y réoriente une étape suivante plutôt que d'expédier une décision. Le module quantitatif de SynthFolk est construit pour cette colonne : 50 à 250 répondants, lus comme des comparaisons et non comme des estimations.

Comment valider des résultats synthétiques sur vos propres études

Les référentiels au niveau d'une catégorie vous apprennent peu sur la vôtre. La plaidoirie de Golder et de ses collègues pour une recherche « empirics-first » s'applique ici : partir d'un phénomène réel, utiliser des données, produire un insight valide sans attendre la théorie.

1. Rejouez une étude déjà menée. Prenez une recherche réelle des douze derniers mois et refaites sa question centrale en synthétique, en aveugle du résultat si vous le pouvez. Comparez le classement, pas les chiffres. L'accord directionnel sur des études auxquelles vous faites confiance est votre véritable taux de précision.

2. Menez une étude humaine parallèle, avec la bonne référence. Pour une décision réelle, lancez les deux : l'étude synthétique et un petit panel réel sur les mêmes quotas. La référence fait tout. La lettre de Sharp, Danenberg et Bellman dans PNAS est le cas d'école : en relisant un résultat célèbre de ciblage psychologique, ils montrent que l'original comparait des publicités ciblées à des publicités délibérément mal ciblées plutôt qu'à de la publicité non ciblée, que le ciblage n'a gagné que deux expériences sur cinq — à peu près ce que prédit le hasard — et que la qualité créative n'était pas contrôlée. Une référence faible fabrique un résultat.

3. Faites un test-retest du côté synthétique. Relancez l'étude à l'identique, puis à nouveau avec les questions réordonnées et reformulées. C'est la logique de Twin-2K-500 retournée vers votre propre travail : l'instabilité borne la résolution dont la méthode dispose pour votre question. Si A et B s'échangent au réordonnancement, l'écart n'a jamais existé. Notez la version du modèle — sur le point d'Ong, une relance sur une nouvelle version est une nouvelle étude.

4. Contrôlez les sous-groupes et la dispersion. Les cases démographiques diffèrent-elles comme les données de population le disent ? Les distributions ont-elles des queues ? Des sous-groupes effondrés et des queues absentes signifient que le panel ne fait pas le travail que vous croyez.

5. Confirmez la décision avec des humains. Ce qui survit passe devant de vrais utilisateurs avant d'être expédié. Ce n'est pas facultatif, et c'est moins cher qu'avant : la passe synthétique a éliminé les mauvais candidats et réparé les questions cassées.

Commencez par les étapes 1 et 3. Elles coûtent une poignée de crédits — les tarifs sont publiés, contrairement à l'essentiel de ce marché — et vous en apprennent plus que n'importe quel référentiel de fournisseur.

Notre propre étalonnage (à venir)

Nous menons une étude en face-à-face : un questionnaire de cinq questions administré deux fois, via le module quantitatif de SynthFolk et via un panel réel sur des quotas correspondants, sur un marché européen. Les questions sont pré-enregistrées et incluent délibérément un type que la littérature dit devoir échouer : la sensibilité au prix. Nous publierons les écarts de distribution, les corrélations de rangs, les taux d'accord directionnel, les écarts par sous-groupe, les deux chiffres de coût et les données brutes.

Cette étude n'existe pas encore. Quand elle existera, elle sera liée ici. D'ici là, traitez chaque affirmation de cette page comme un raisonnement à partir de la littérature listée ci-dessous et de notre expérience opérationnelle, pas comme un résultat mesuré.

La conclusion honnête

La recherche synthétique est un complément, pas un remplacement — formule usée, donc disons-le concrètement : elle change l'économie de questions que vous n'auriez jamais financées, et elle affûte la recherche que vous financez en supprimant les fausses pistes avant de payer du terrain. Elle ne produit pas de preuves sur les gens. Elle produit un a priori rapide et bon marché sur ce que les gens pourraient dire, que vous allez ensuite vérifier.

Une équipe qui remplace sa fonction recherche par un panel synthétique n'a pas économisé d'argent ; elle a acheté une machine éloquente à confirmer ce qu'elle croyait déjà. Une équipe qui fait tourner le synthétique d'abord et l'humain ensuite peut s'offrir une meilleure recherche humaine.

Questions fréquentes

Les utilisateurs synthétiques sont-ils assez précis pour une vraie décision ?

Pour les décisions qui réduisent un ensemble — quels trois concepts avancent, quel marché étudier en premier — oui, avec le protocole ci-dessus. Pour les décisions qui engagent un budget, des effectifs ou un lancement, non.

Les répondants synthétiques peuvent-ils remplacer un panel ?

Non, et c'est le cadrage qui pose problème. Ils remplacent les études que vous n'alliez pas mener du tout. Là où un panel est réellement requis — tout ce qui est mesuré, réglementé, sensible ou comportemental — il n'y a pas de substitut.

Quelle est la marge d'erreur ?

Il n'y en a pas, et tout fournisseur qui en cite une détourne le terme. La marge d'erreur est une propriété de l'échantillonnage probabiliste ; les répondants synthétiques n'ont pas de base de sondage. Ce que vous pouvez mesurer, c'est l'accord avec vos résultats passés et la stabilité entre relances — les étapes 1 et 3.

Quels types de questions ne faut-il jamais poser ?

Prix exacts et consentement à payer, souvenir spontané d'une marque ou d'une publicité, fréquence d'un comportement passé, tout ce qui suit la coupure d'entraînement, tout ce qui est stigmatisé, et toute réponse que vous comptez citer sous forme de pourcentage. La fréquence comportementale est le cas le plus clair : Tanusondjaja et ses collègues ont établi les ratios de Pareto d'une chaîne de grands magasins à partir de plus de 550 millions de transactions. Aucun prompt ne remplace cela.

Comment cela se compare-t-il à un panel humain de faible qualité ?

C'est la comparaison la plus juste, et celle qui évolue le plus vite. Les panels bon marché portent des répondants inattentifs et de la fraude, que davantage de réponses corrigent en partie ; les panels synthétiques ajoutent un biais corrélé, que davantage de réponses aggravent en resserrant l'intervalle autour de la mauvaise réponse. Mais les deux convergent, par le côté humain. Lin rapporte qu'environ 34 % des répondants de Prolific déclarent utiliser l'IA sur les questions ouvertes, jusqu'à 73 % sur Mechanical Turk pour certains types de tâches, et qu'un agent autonome a passé 99,8 % de 6 000 contrôles d'attention conçus pour repérer des humains négligents. Le « panel réel » n'est plus une référence propre.

Faites tourner le protocole de validation sur votre propre question. Prenez une étude dont vous avez déjà la réponse et refaites-la en synthétique — une petite étude qualitative coûte une dizaine de crédits, et les nouveaux comptes en reçoivent assez. Ouvrez le tableau de bord et rejouez une question. Savoir si le panel reproduit ce que vous savez déjà est le seul étalon qui devrait vous faire bouger.

Références

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.