Comment valider la recherche synthétique à partir de données humaines

2026-09-09 · 8 min de lecture

Validez la recherche synthétique en comparant un résultat prédéfini à des données humaines pertinentes que le processus de génération n’a pas reçues. Vérifiez également une référence simple et répétez la simulation. L’accord avec les personnes et la stabilité entre exécutions répondent à des questions différentes ; ni un verbatim convaincant ni une affirmation unique d’exactitude globale ne doivent s’y substituer.

Notre revue de l’exactitude des répondants synthétiques couvre le débat plus large. Ce guide propose un protocole appliqué à une tâche précise. Ce n’est ni un benchmark achevé de SynthFolk ni une garantie qu’une tâche quelconque satisfera aux critères.

1. Définissez la cible et la décision

Précisez exactement ce que la simulation doit reproduire : un classement de concepts, une distribution de réponses, des objections particulières ou des réponses individuelles. N’utilisez pas la même mesure pour les quatre. Un modèle peut identifier l’option préférée tout en se trompant sur l’ampleur de cette préférence.

Indiquez ce qu’un résultat utile vous permettrait de faire. Si l’objectif est de préparer un questionnaire, l’apport peut être l’identification d’ambiguïtés ensuite observées lors d’un prétest humain. S’il s’agit de prédire une distribution agrégée, la comparaison doit mesurer l’erreur de distribution. Ces tâches exigent des références différentes.

Choisissez l’erreur acceptable avant d’examiner le résultat. Le seuil doit refléter la décision : inverser les deux premiers concepts peut compter davantage qu’un petit écart entre des concepts déjà écartés. Aucun seuil numérique universel ne rend la recherche synthétique valide pour tous les usages.

2. Séparez les entrées autorisées des réponses d’évaluation

Préparez le brief, la définition du public, le stimulus et les questions. Excluez les réponses humaines utilisées pour l’évaluation des contenus fournis à la simulation. Si vous utilisez une étude passée pour améliorer les prompts, réservez une autre étude ou une partie des données à l’évaluation.

Cette distinction est explicite dans la version consultée de Twin-2K-500 de Toubia et ses collègues (2025). Elle sépare les informations de persona, les réponses d’évaluation tenues à l’écart et les réponses humaines recueillies lors d’un retest ultérieur. Son jeu de données et sa tâche de jumeau numérique diffèrent d’une simulation commerciale générique, mais cette séparation clarifie les exigences d’une vérification indépendante.

Considérez également l’exposition possible durant l’entraînement. Un résultat d’enquête largement publié peut avoir figuré dans les données d’entraînement du modèle. Pour un modèle propriétaire, cette possibilité ne peut pas toujours être exclue. Documentez-la et privilégiez, lorsque cela est autorisé, une référence privée adaptée ou nouvellement recueillie, au lieu de prétendre que toute reproduction historique prouve la généralisation.

3. Vérifiez la référence humaine

Les données humaines sont une référence, pas automatiquement une vérité irréprochable. Examinez l’éligibilité, le recrutement, la qualité des réponses, les exclusions, la formulation de l’instrument et la période de collecte. Une enquête auprès d’un groupe de clients ne peut pas valider une prédiction pour une autre population sans hypothèses supplémentaires.

Rendez les conditions comparables. Si les personnes ont vu un stimulus visuel et que le modèle n’a reçu qu’un résumé rédigé par le chercheur, la comparaison modifie à la fois le type de répondant et l’entrée. Cela peut être une comparaison utile de processus, mais il faut la qualifier ainsi.

Rendez visible l’incertitude de l’estimation humaine. Si deux estimations humaines sont imprécises, de petits écarts entre elles et le modèle ne justifient pas nécessairement une conclusion forte. Inversement, un panel humain de mauvaise qualité ne doit pas servir à excuser n’importe quelle erreur du modèle.

4. Comparez avec une référence simple

Une simulation complexe doit apporter quelque chose de plus qu’une solution plus simple. Pour les réponses catégorielles, une référence pourrait prédire la catégorie la plus fréquente dans des données d’entraînement séparées. Pour un classement, elle pourrait utiliser un classement historique établi lorsque celui-ci est pertinent. Pour préparer un instrument, elle pourrait être la vérification par un analyste à l’aide d’une liste de contrôle.

Choisissez la référence à partir des informations disponibles au moment de la prédiction. Une référence ajustée aux réponses d’évaluation n’est plus un comparateur équitable. Ne l’affaiblissez pas délibérément pour donner l’impression que la simulation est utile.

Consignez à la fois la performance absolue et l’amélioration par rapport à la référence. Si les deux choisissent le même gagnant, la simulation peut apporter des explications, mais celles-ci nécessitent leur propre évaluation. Une classification correcte ne prouve pas que le raisonnement généré décrit la façon dont les personnes ont décidé.

5. Utilisez un petit ensemble de mesures interprétables

Ne réduisez pas ces mesures à un score inexpliqué. Conservez les résultats originaux pour permettre l’examen des erreurs. Pour les thèmes, distinguez une hypothèse supplémentaire plausible d’une affirmation inventée sur un participant. La première peut aider à préparer la recherche ; la seconde n’est pas une observation.

Sun et ses collègues (2024) ont constaté que la simulation conditionnée par la démographie variait selon le sous-groupe et la question dans leur application aux enquêtes d’opinion. Cela justifie de dépasser une seule mesure agrégée. Cela ne prescrit pas un test universel par sous-groupe et n’établit pas les performances dans votre catégorie.

6. Testez la stabilité sans sélectionner une exécution favorable

Répétez la même configuration et conservez chaque exécution incluse dans l’évaluation. Effectuez ensuite des modifications planifiées de formulation ou d’ordre qui ne devraient pas changer fondamentalement la tâche. Consignez les éventuels changements de conclusion. Gardez cette analyse de sensibilité distincte de l’estimation initiale de performance.

Ong (2024) souligne l’importance de documenter les prompts, les procédures, les réglages du modèle et les dates d’accès. Appliquez ce principe aux contrôles disponibles. Si un fournisseur n’expose pas un réglage ou modifie silencieusement un modèle, documentez cette limite au lieu d’inventer une valeur.

N’ajustez pas le système jusqu’à obtenir la réponse attendue pour présenter ensuite cette exécution comme une reproduction réussie. L’ajustement relève du développement. Il exige une évaluation ultérieure sur des contenus qui n’ont pas servi à l’ajustement.

L’accord humain entre test et retest est encore une autre quantité. Dans Twin-2K-500, les personnes répondent de nouveau à certaines tâches pour établir une référence humaine de prévisibilité. Répéter une enquête IA ne fournit pas cette référence humaine, et rien ne justifie automatiquement de diviser un chiffre d’accord par un autre sans une mesure clairement définie.

7. Transformez le résultat en limite d’usage explicite

Supposons, dans un exemple inventé, qu’une simulation reproduise le gagnant global d’une comparaison d’emballages, mais manque le gagnant parmi les acheteurs occasionnels de la catégorie. Si ce sous-groupe compte pour le lancement, la concordance globale ne suffit pas. L’étape suivante peut être une recherche humaine complémentaire ou le rejet de la simulation pour cette décision.

À l’inverse, supposons qu’une répétition synthétique identifie régulièrement une question d’éligibilité confuse que les personnes comprennent également mal lors d’un prétest. C’est un élément en faveur de son utilité pour préparer l’instrument dans ces conditions. Ce n’est pas une preuve que le même système prédit les taux d’achat.

Formulez une conclusion circonscrite : tâche, population, stimulus, configuration, référence et échecs observés. Énumérez les usages non couverts par l’évaluation. Sarstedt et ses collègues (2024) passent en revue des résultats dépendant du domaine et discutent des rôles appropriés des échantillons de silicium ; leur revue ne supprime pas la nécessité de ce jugement propre à la tâche.

Commencez par une tâche vérifiable. Préparez le brief, conservez séparément la référence humaine et utilisez le processus SynthFolk adapté. Consultez les tarifs et le guide de taille d’échantillon avant de planifier des exécutions répétées. Ce protocole ne démontre pas, à lui seul, que SynthFolk a réussi un benchmark externe.

Sources et méthode éditoriale

Le protocole en sept étapes et le scénario d’emballage sont des applications proposées. Les recherches citées fournissent des distinctions méthodologiques ; aucun résultat de benchmark n’est revendiqué ici. Les références de prépublications identifient les versions consultées dans la bibliographie locale.

• Toubia, O., et al. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479, version 1.
• Sun, S., et al. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144, version 1.
• Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464, version 1.
• Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing. DOI: 10.1002/mar.21982.