Stichprobengröße synthetischer Umfragen: Mehr Antworten beweisen keine Genauigkeit
Die Stichprobengröße einer synthetischen Umfrage zählt generierte Antworten. Mehr Antworten können die Schätzung dessen stabilisieren, was ein konfiguriertes Modell erzeugt. Sie verbessern nicht automatisch die Genauigkeit gegenüber Menschen. Wählen Sie die Zahl der Läufe nach Aufgabe und untersuchter Unsicherheit, statt Fehlermargen menschlicher Umfragen auf generierte Zeilen zu übertragen.
Diese Unterscheidung ergänzt unseren Überblick zur Genauigkeit synthetischer Befragter. Praktisch geht es darum, Simulationsbudget einzusetzen, ohne Wiederholung mit zusätzlicher Marktevidenz zu verwechseln.
Fragen Sie, was bei einer weiteren Antwort variiert
In einer menschlichen Umfrage kann ein zusätzlicher Teilnehmer die Antwort eines weiteren Menschen beitragen, abhängig von Stichprobendesign und Datenqualität. In einer synthetischen Umfrage produziert der Generierungsprozess eine weitere Zeile. Unterschiede können aus Persona-Eingaben, zufälligem Modellsampling, Promptänderungen oder Änderungen am Modell selbst stammen.
Diese Variationsquellen sind nicht gleichwertig. Den Prompt einer Persona zu wiederholen untersucht eine andere Größe als das Zielgruppenprofil zu verändern. Werden Persona und Modell gleichzeitig geändert, lässt sich die Ursache einer Antwortabweichung schwerer bestimmen.
Schreiben Sie die untersuchte Einheit auf. Das kann eine generierte Antwort unter fester Konfiguration, ein Persona-Szenario oder eine gesamte wiederholte Simulation sein. Nennen Sie nicht jede Einheit einen unabhängigen Verbraucher, nur weil sie eine eigene Kennung trägt.
Trennen Sie Modellvariation von Fehlern gegenüber Menschen
Stellen Sie sich einen Generator vor, der unter einer festen Konfiguration ungefähr zu 60 % Option A wählt. Mehr Ziehungen können diese Tendenz genauer schätzen. Liegt der entsprechende Anteil relevanter Menschen bei 40 %, bleibt eine stabile Schätzung um 60 % für die menschliche Frage falsch.
Das Beispiel ist erfunden und erklärt die Unterscheidung. Es beschreibt weder SynthFolk noch ein bestimmtes Modell. Allgemein beseitigt weniger zufällige Variation nicht notwendigerweise einen systematischen Unterschied zwischen Generierungsprozess und Zielpopulation.
Für idealisierte unabhängige binäre Ziehungen mit Wahrscheinlichkeit 0,60 beträgt der Standardfehler des Mittelwerts sqrt(0,60 × 0,40 / n). Bei 100 Ziehungen sind das etwa 4,9 Prozentpunkte, bei 1.000 etwa 1,5. Diese Zahlen beschreiben das mathematische Stichprobenmodell. Sie sind keine Fehlermargen für durch KI-Personas dargestellte Kunden. Unabhängigkeit darf in tatsächlichen synthetischen Abläufen nicht einfach unterstellt werden.
Dass eine Tabellenkalkulation die Berechnung ermöglicht, belegt nicht, dass ihre Annahmen den Forschungsprozess beschreiben.
Warum größere synthetische Stichproben wichtige Menschen auslassen können
Eine höhere Antwortzahl ergänzt keine fehlende Kaufsituation im Briefing. Unterstellt jede Persona einfachen Internetzugang, zeigen mehr solcher Personas nicht die Erfahrung von Menschen ohne diesen Zugang, sofern der Prozess diesen Unterschied nicht repräsentieren kann.
Sun und Kollegen (2024) untersuchten nach demografischen Verteilungen bedingte Simulationen und fanden Variation nach Fragen und Gruppen. Die Anwendung betraf US-Meinungsdaten; der verwendete Preprint nennt Grenzen einschließlich möglicher Trainingsexposition. Er belegt nicht, dass größere Simulationen ungeeignete Zielgruppenrepräsentationen in anderen Bereichen überwinden.
Prüfen Sie vor mehr Antworten, ob Ihre Zielgruppenunterscheidungen zur Frage passen. Eine reine Altersquote hilft möglicherweise wenig, wenn Produktzugang, Kategorieerfahrung oder Haushaltsbedingungen entscheidend sind. Erfüllte Quoten zeigen, dass die Konfiguration ihnen folgte, validieren aber nicht die generierten Antworten.
Verteilen Sie Läufe nach der zu prüfenden Unsicherheit
| Forschungsaufgabe | Nützlicher Grund für weitere Läufe | Was weitere Läufe allein nicht belegen |
|---|---|---|
| Fragebogenprobe | Weitere mögliche Unklarheiten und Antwortpfade finden | Wie häufig Menschen ein Item missverstehen |
| Simulierte Rangfolge prüfen | Änderungen der Reihenfolge bei festem Setup beobachten | Welche Option reale Kunden bevorzugen |
| Zielgruppenannahmen untersuchen | Explizit definierte Szenarien vergleichen | Tatsächliche Häufigkeiten dieser Szenarien |
| Formulierungssensitivität testen | Geplante Prompt- oder Reihenfolgevarianten vergleichen | Welche Formulierung die wahrheitsgetreueste menschliche Schätzung ergibt |
| Externe Validität beurteilen | Vorab festgelegten Vergleich mit menschlicher Evidenz wiederholen | Übertragbarkeit auf ungeprüfte Märkte und Aufgaben |
Beginnen Sie mit dem kleinsten Lauf, dessen Material sinnvoll geprüft werden kann. Erweitern Sie ihn, wenn zusätzliche Ausgaben eine benannte Unsicherheit behandeln. Dies ist ein Vorschlag zur Ressourcenverteilung, keine universelle Empfehlung zur Stichprobengröße.
Geht es hauptsächlich um die Übereinstimmung einer Rangfolge mit Menschen, kann ein weiterer gut gestalteter menschlicher Vergleich informativer sein als deutlich mehr generierte Zeilen. Geht es um Instabilität der Simulation selbst, sind wiederholte Modellläufe unmittelbar relevant.
Ausgearbeitetes Beispiel mit festem Simulationsbudget
Ein Team habe Budget für mehrere explorative Läufe mit drei Servicebeschreibungen. Es kann alles für viele Antworten zu einem Briefing ausgeben oder Läufe für Wiederholungen und plausible Zielgruppenalternativen reservieren.
Zuerst fixiert das Team Beschreibungen, Fragen und Zielgruppenbriefing. Es wiederholt dieses Setup, um die Stabilität der führenden Option zu prüfen. Dann verändert es eine Zielgruppenannahme, etwa den Zugang zum Service während der Arbeitszeit, und untersucht die Unterschiede. Das sind Szenariounterschiede, keine gemessenen Marktsegmente.
Kehrt sich die bevorzugte Option bei leicht anderer Formulierung um, wird diese Instabilität dokumentiert. Das Team wählt nicht den Lauf aus, der den gewünschten Marktstart unterstützt. Bleibt die Rangfolge stabil, ist weiterhin zu klären, ob sie mit relevanten Menschen übereinstimmt.
Das Beispiel ist hypothetisch. Keine bestimmte Laufzahl garantiert Nutzen. Verfügbare Plattformfunktionen bestimmen, welche Vergleiche möglich sind. Entscheidend ist, die Frage jedes zusätzlichen Laufs zu benennen.
Berichten Sie Konfiguration und Anzahl gemeinsam
Dokumentieren Sie mindestens Zielgruppenbriefing, Stimulus, genaue Fragen, Antwortoptionen, Datum und verfügbare Modellinformationen. Unterscheiden Sie Persona-Profile, wiederholte Antworten und wiederholte Gesamtstudien. Erfassen Sie Ausschlüsse und fehlgeschlagene Läufe statt nur abgeschlossener Antworten.
Ong (2024) diskutiert Reproduzierbarkeitsprobleme und den Bedarf an detaillierten Prompts, Verfahren und Einstellungen. Ist ein Parameter nicht offengelegt, kennzeichnen Sie ihn als nicht verfügbar. Eine erfundene Temperatureinstellung ist schlechter als eine ausdrückliche Einschränkung.
Passen Sie Ihre Sprache der Evidenz an: „Die Rangfolge blieb über die dokumentierten Läufe unverändert“ beschreibt Modellstabilität. „Die Rangfolge entsprach unter den angegebenen Bedingungen der zurückgehaltenen menschlichen Studie“ beschreibt einen bestimmten externen Vergleich. Keines allein belegt universelle Zuverlässigkeit.
Legen Sie vor der Interpretation eine Stoppregel fest
Entscheiden Sie, wann ein weiterer Lauf die nächste Forschungsaktion nicht mehr verändern würde. Eine Fragebogenprobe könnte enden, wenn Wiederholungen kein neues prüfenswertes Problem ergeben. Dokumentieren Sie dies als redaktionelle Stoppregel, nicht als Beweis vollständiger Abdeckung.
Legen Sie für eine Validierung Läufe und Vergleiche vorher fest und bewahren Sie Fehler auf. Vergrößern Sie die Stichprobe nicht so lange, bis das gewünschte Ergebnis erscheint. Sarstedt und Kollegen (2024) ordnen Silicon Sampling in einen größeren Forschungsprozess ein; mehr synthetische Antworten heben Nutzungsgrenzen nicht auf.
Planen Sie Budget für Unsicherheit, nicht für Zeilenzahlen. Nutzen Sie die Briefingvorlage, prüfen Sie aktuelle Preise und planen Sie den quantitativen Ablauf. Bei Aussagen über Menschen ergänzen Sie den benötigten externen Validierungsschritt.
Quellen und redaktionelle Methode
Die Wahrscheinlichkeitsrechnung ist ein ausdrücklich idealisiertes mathematisches Beispiel. Serviceszenarien und Stoppvorschläge sind eigene Anwendungen, keine beobachteten Ergebnisse oder validierten Stichprobengrößenempfehlungen für SynthFolk.
- Sun, S., et al. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144, version 1.
- Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464, version 1.
- Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing. DOI: 10.1002/mar.21982.