Πόσο ακριβείς είναι οι συνθετικοί ερωτώμενοι; Τι δείχνουν πράγματι τα στοιχεία

2026-08-13 · 17 λεπτά ανάγνωσης

Οι συνθετικοί ερωτώμενοι είναι αρκετά ακριβείς για να κατατάξετε επιλογές, να συγκρίνετε μηνύματα και να χαρτογραφήσετε αντιρρήσεις, όχι όμως για να παράγετε έναν υπερασπίσιμο αριθμό. Τα δημοσιευμένα στοιχεία υποστηρίζουν κατευθυντική και συγκριτική χρήση, όχι την αντιμετώπιση προσομοιωμένων απαντήσεων ως δεδομένων έρευνας. Η επιλογή ανάμεσα στις δύο χρήσεις καθορίζει αν η μέθοδος σας βοηθά ή σας παραπλανεί αθόρυβα.

Βασικά συμπεράσματα

• Η ακρίβεια δεν είναι ένα πράγμα. Η αντιστοίχιση κατανομής, η κατευθυντική συμφωνία και η ατομική πρόβλεψη είναι τρία διαφορετικά πρότυπα, και οι συνθετικοί ερωτώμενοι αποδίδουν πολύ διαφορετικά σε καθένα.
• Οι επικριτές έχουν σε μεγάλο βαθμό δίκιο για τους τρόπους αποτυχίας. Η εξάρτηση από τη διατύπωση, η πεπλατυσμένη διακύμανση, η επινοημένη ειδικότητα και ένα άνισο προεπιλεγμένο προφίλ γνώμης τεκμηριώνονται· μεγαλύτερο μοντέλο δεν τα διορθώνει.
• Η θεμελίωση σε πραγματικά δεδομένα ερευνών είναι ο βασικός μοχλός ποιότητας — ένα μεγαλύτερο μοντέλο χωρίς θεμελίωση εξακολουθεί να επιστρέφει τη μέση γνώμη του διαδικτύου μεταμφιεσμένη.
• Κανένας προμηθευτής, ούτε εμείς, δεν μπορεί να σας δώσει αριθμό εγκυρότητας για την κατηγορία σας. Το μόνο σημείο αναφοράς που πρέπει να καθοδηγεί αποφάσεις είναι εκείνο που θα τρέξετε απέναντι στις δικές σας μελέτες.

Το μεγαλύτερο μέρος της σχετικής γραφής κινείται σε δύο άκρα: προμηθευτές που ισχυρίζονται ισοδυναμία και ερευνητές που θεωρούν τη μέθοδο κατ’ αρχήν μη νόμιμη. Το άρθρο αυτό αναγνωρίζει όσα πρέπει και εξηγεί πότε οι συνθετικοί χρήστες παράγουν αποτελέσματα πάνω στα οποία αξίζει να ενεργήσετε. Αν η κατηγορία σάς είναι νέα, αρχίστε από το πώς κατασκευάζονται οι συνθετικές περσόνες: από αυτό εξαρτάται το επιχείρημα περί ακρίβειας.

Γιατί είναι δύσκολο να απαντηθεί αυτή η ερώτηση

Η ερώτηση «είναι ακριβείς οι συνθετικοί χρήστες;» δεν απαντάται όπως τίθεται, επειδή το ακριβείς μπορεί σιωπηρά να σημαίνει τρία ασύμβατα πράγματα.

Αντιστοίχιση κατανομής. Αναπαράγει το συνθετικό δείγμα την κατανομή απαντήσεων του πληθυσμού — το ίδιο ποσοστό που επιλέγει τη Β, τον ίδιο μέσο όρο σε κλίμακα από 1 έως 7; Είναι το αυστηρότερο πρότυπο και αυτό που χρειάζεται η αποτίμηση αγοράς.

Κατευθυντική συμφωνία. Επιλέγει τον ίδιο νικητή, κατατάσσει τις επιλογές με τον ίδιο τρόπο, κινείται προς την ίδια κατεύθυνση μεταξύ δύο συνθηκών; Είναι ασθενέστερο, αλλά πάνω του στηρίζονται οι περισσότερες αποφάσεις προϊόντος.

Ατομική πρόβλεψη. Μπορεί ένας πράκτορας που χτίστηκε από τα δεδομένα ενός ατόμου να αναπαράγει τις απαντήσεις του ίδιου ατόμου; Είναι ερευνητικό σύνορο, εμπορικά σε μεγάλο βαθμό άσχετο, αλλά με λογικό μέτρο. Οι Toubia και συνεργάτες επανέλαβαν εργασίες στο τελευταίο κύμα του Twin-2K-500 ώστε η ακρίβεια των διδύμων να βαθμολογηθεί έναντι του test–retest: πόσο καλά οι άνθρωποι αναπαράγουν τις δικές τους απαντήσεις. Η τέλεια συμφωνία δεν είναι ο στόχος, επειδή ούτε οι άνθρωποι την επιτυγχάνουν.

Ένας προμηθευτής που ισχυρίζεται υψηλή ακρίβεια συνήθως εννοεί κατευθυντική συμφωνία· ένας επικριτής που αναφέρει αποτυχία συνήθως εννοεί αντιστοίχιση κατανομής. Και οι δύο μπορεί να έχουν δίκιο.

Τι βρήκε πράγματι η έρευνα

Η βιβλιογραφία είναι νέα, άνιση και καλύτερη από ό,τι υποδηλώνει το μάρκετινγκ και των δύο πλευρών. Ο πίνακας χαρτογραφεί ό,τι έχει μελετηθεί, όχι έναν πίνακα βαθμολογίας.

Κανένα δεν είναι αποτέλεσμα της SynthFolk και κανένα δεν δικαιολογεί τον γενικό ισχυρισμό ότι «οι συνθετικοί ερωτώμενοι είναι X% ακριβείς»: η ακρίβεια εξαρτάται από τον τύπο ερώτησης, την αγορά, το μοντέλο και τη θεμελίωση. Οι Sarstedt και συνεργάτες καταλήγουν στο ίδιο συμπέρασμα με αυτό το άρθρο: τα δείγματα πυριτίου υπόσχονται ιδιαίτερα στα πρώιμα στάδια, όπως ο ποιοτικός προέλεγχος και οι πιλοτικές μελέτες, πολύ λιγότερο στις κύριες μελέτες.

Πού οι συνθετικοί ερωτώμενοι ταιριάζουν με τους πραγματικούς

Με το κατευθυντικό πρότυπο και λογική θεμελίωση:

• Κατάταξη επιλογών. Ποιες από έξι προτάσεις αξίας λειτουργούν και ποιες όχι. Οι σχετικές κρίσεις επιβιώνουν από μεροληψίες που οι απόλυτες δεν επιβιώνουν.
• Ευρεία κατεύθυνση στάσεων. Αν μία αγορά ανησυχεί περισσότερο για την ιδιωτικότητα από άλλη· αν ένας ισχυρισμός ακούγεται καθησυχαστικός ή υπερβολικός.
• Αδρές διαφορές τμημάτων. Μεγάλες, καλά τεκμηριωμένες ομάδες — ηλικιακές ζώνες, αστικές και αγροτικές, υψηλή και χαμηλή θεσμική εμπιστοσύνη — όπου τα πληθυσμιακά δεδομένα είναι πυκνά.
• Κατάλογοι αντιρρήσεων. Τι λένε οι άνθρωποι ότι θα τους απέτρεπε από αγορά. Συλλέγετε σύνολο, δεν μετράτε συχνότητα.

Πού δεν ταιριάζουν

Με το πρότυπο της κατανομής, οι αποτυχίες προβλέπονται εκ των προτέρων:

• Ευαισθησία τιμής σε οποιαδήποτε χρήσιμη λεπτομέρεια. Οι εργασίες οικονομικής αξίας είναι ακριβώς εκεί όπου η ανασκόπηση Sarstedt καταγράφει αποτυχίες αναπαραγωγής: επίδραση κτήσης, νοητική λογιστική, βυθισμένο κόστος.
• Απόλυτη πρόθεση, επίπτωση και αριθμοί πρόβλεψης. Το «62% θα άλλαζε» έχει τη γραμματική των δεδομένων και καμία από τις ιδιότητές τους. Ο Lin δείχνει πόσο λίγο απαιτείται: η εισαγωγή 10 έως 52 συνθετικών ερωτώμενων σε δείγματα 1.600 άλλαξε τον υποψήφιο που προηγούνταν.
• Πληθυσμοί χαμηλής συχνότητας και ειδικοί. Τα δεδομένα θεμελίωσης είναι αραιότερα εκεί όπου το διακύβευμα είναι υψηλότερο, και η αραιή θεμελίωση δεν ανακοινώνεται.
• Ανάκληση μάρκας και διαφήμισης, και οτιδήποτε μετά το όριο εκπαίδευσης. Η προβολή μάρκας είναι η τάση της να έρχεται στον νου σε κατάσταση αγοράς· ιδιότητα του δικτύου μνήμης του αγοραστή. Ένα μοντέλο κειμένου δεν έχει τέτοιο δίκτυο.
• Πολιτισμικά ευαίσθητο υλικό. Ο Lin βρίσκει απαντήσεις AI πιο θετικές και αφηρημένες σε ευαίσθητες διαομαδικές ερωτήσεις, πολύ λιγότερο πιθανό να φέρουν σκληρή αρνητικότητα.
• Αναλύσεις υποομάδων. Η διαίρεση 200 συνθετικών ερωτώμενων σε έξι κελιά δίνει έξι αναδιατυπώσεις της πλειοψηφικής προεπιλογής· και το σφάλμα δεν κατανέμεται ομοιόμορφα.

Τι σωστά επισημαίνουν οι επικριτές

Τα πιο πολυαναφερόμενα κείμενα είναι επικριτικά και, ως προς τον μηχανισμό, έχουν δίκιο. Οι Rosala και Moran στη Nielsen Norman Group υποστηρίζουν ότι οι «χρήστες» που παράγει AI δεν υποκαθιστούν πραγματικούς ανθρώπους, παραχωρώντας μία στενή χρήση: πρόβα οδηγού συζήτησης σε άγνωστο πεδίο πριν από πραγματικούς συμμετέχοντες. Ο Papangelis στο ACM Interactions ονομάζει τη «synthetic persona fallacy»: το πέρασμα από εύλογο τεχνούργημα σε αντιπρόσωπο εκλογικής περιφέρειας, μαζί με πλύσιμο μεροληψίας. Ο Chapman στο Quant UX Blog σημειώνει ότι οι στατιστικές έρευνας δεν εφαρμόζονται σε δείγματα από μοντέλο· η ανασκόπηση της MeasuringU συμφωνεί: δημιουργία υποθέσεων, όχι τελικές αποφάσεις.

Δεν αφορά κάθε αντίσταση την εγκυρότητα: οι Castelo, Bos και Lehmann δείχνουν ότι οι αλγόριθμοι εμπνέουν λιγότερη εμπιστοσύνη σε εργασίες που απλώς φαίνονται υποκειμενικές. Τέσσερις κριτικές όμως είναι δομικές.

1. Εξάρτηση από τη διατύπωση. Τα μοντέλα απαντούν στην ερώτηση που τους δίνεται, με τους όρους που τους δίνεται. Αν ρωτήσετε «θα χρησιμοποιούσατε αυτό το χαρακτηριστικό;», ο βασικός ρυθμός του «ναι» γίνεται ιδιότητα του prompt. Η ομάδα Toubia παραπέμπει σε εργασία όπου η αρχιτεκτονική prompt — μόνον ετικέτες και σειρά επιλογών — κυριαρχεί στις απαντήσεις. Στην περίπτωση του Lin, μία οδηγία να μην απαντά αρνητικά για χώρα μετέφερε την αναγνώριση του κύριου αντιπάλου της Αμερικής από 86% Κίνα σε 88% Ρωσία.

2. Ισοπέδωση κατανομής. Τα συνθετικά δείγματα έχουν ανεπαρκή διασπορά. Σε προσπάθεια αναπαραγωγής που καλύπτει η Sarstedt, έξι από δεκατέσσερις μελέτες έδειξαν «correct answer effect»: το μοντέλο απαντούσε εξαιρετικά ομοιόμορφα, με ελάχιστη ή μηδενική ποικιλία. Η ομοιογένεια και οι περικομμένες ουρές του Lin δείχνουν το ίδιο σχήμα, ενώ οι Valenzuela και συν-συγγραφείς ονομάζουν τον μηχανισμό parametric reductionism. Κάθε στατιστικό που εξαρτάται από διασπορά είναι άκυρο.

3. Επινοημένη ειδικότητα. Όταν ζητείται λεπτομέρεια, τα μοντέλα τη δίνουν: μάρκα που «πάντα» αγοράζουν, τιμή που πλήρωσαν. Καλοσχηματισμένη και επινοημένη. Οι Fernandez, Berner και Shevlin παρήγαγαν 2.106 συνθετικές περσόνες από 13 διαγνωστικά προφίλ και τις υπέβαλαν σε επτά επικυρωμένα ψυχιατρικά εργαλεία. Μόνο από σύντομες περιγραφές το μοντέλο παρήγαγε βαθμολογίες σύμφωνες με τη διάγνωση πάνω από κλινικά όρια, αυξανόμενες μονότονα με τη σοβαρότητα. Η συνεκτική απόκριση πάνω από το όριο «δεν μπορεί πλέον να λειτουργεί ως ένδειξη αυθεντικής συμμετοχής».

4. Άνισο προεπιλεγμένο προφίλ γνώμης. Τα σύνολα εκπαίδευσης υπερεκπροσωπούν ορισμένους πληθυσμούς και η δημογραφική διατύπωση μετακινεί την προεπιλογή μόνο μερικώς. Η ομάδα Sun το μετρά: η μέθοδος που αναπαράγει καλά εθνικές δημοσκοπήσεις χάνει πιστότητα άνισα μεταξύ υποομάδων και θεμάτων. Το πρόβλημα είναι ότι η έξοδος δεν λέει ποτέ ποια κελιά είναι αναξιόπιστα.

Τι καθορίζει πράγματι την ποιότητα των συνθετικών ερωτώμενων

Ο αποφασιστικός μοχλός δεν είναι η επιλογή μοντέλου. Είναι σε τι προσαρμόζεται η περσόνα.

Ένα μη θεμελιωμένο prompt που περιγράφει «μια 34χρονη δασκάλα στη Λυών» επιστρέφει την προηγούμενη πεποίθηση του μοντέλου για Γαλλίδες δασκάλες. Δέκα συμφωνούν, επειδή είναι μία κατανομή που δειγματοληπτείται δέκα φορές. Το εποικοδομητικό μισό του ευρήματος Sun είναι ότι η τροφοδότηση του μοντέλου με την κατανομή μιας ομάδας αντί με καρικατούρα έφερε συνθετικές απαντήσεις κοντά σε πραγματικές δημοσκοπήσεις. Η ομοφωνία είναι αναφορά για το μοντέλο, όχι για την αγορά.

Το SynthFolk προσαρμόζει περσόνες στην European Social Survey και στο Ευρωβαρόμετρο — μεγάλες, τεκμηριωμένες πιθανοτικές έρευνες — καθώς και σε δημογραφική αντιστοίχιση και πέντε ευρωπαϊκές πολιτισμικές περιφέρειες. Έτσι, ένας Πολωνός και ένας Πορτογάλος ερωτώμενος διαφέρουν σε μετρημένες διαστάσεις, όχι από στερεότυπο. Τι διορθώνει αυτό:

Τρία «όχι» και δύο «εν μέρει». Η θεμελίωση είναι η διαφορά ανάμεσα σε μέθοδο που είναι μερικές φορές χρήσιμη και σε μέθοδο που δεν είναι ποτέ· δεν είναι η διαφορά ανάμεσα σε προσομοίωση και μέτρηση.

Πού η συνθετική έρευνα είναι σήμερα κατάλληλη για τον σκοπό της

Η αριστερή στήλη είναι η σύσταση της ανασκόπησης Sarstedt: ανάντη προέλεγχος και πιλοτική μελέτη. Η έξοδος είναι συγκριτική· το σφάλμα ανακατευθύνει το επόμενο βήμα αντί να αποστέλλει απόφαση. Το ποσοτικό module της SynthFolk χτίστηκε για αυτή τη στήλη: 50 έως 250 ερωτώμενοι, διαβασμένοι ως συγκρίσεις, όχι ως εκτιμήσεις.

Πώς να επικυρώσετε συνθετικά αποτελέσματα στις δικές σας μελέτες

Τα σημεία αναφοράς επιπέδου κατηγορίας σας λένε ελάχιστα για τη δική σας κατηγορία. Η θέση των Golder και συνεργατών για έρευνα που ξεκινά από εμπειρικά στοιχεία εφαρμόζεται εδώ: εργασία θεμελιωμένη σε πραγματικό φαινόμενο, με δεδομένα, που παράγει έγκυρη γνώση χωρίς να περιμένει θεωρία.

1. Κάντε back-test σε μελέτη που ήδη τρέξατε. Πάρτε πραγματική έρευνα των τελευταίων δώδεκα μηνών και ξανατρέξτε συνθετικά το κεντρικό ερώτημά της, στα τυφλά ως προς το αποτέλεσμα αν μπορείτε. Συγκρίνετε την κατάταξη, όχι τους αριθμούς. Η κατευθυντική συμφωνία σε μελέτες που εμπιστεύεστε είναι το πραγματικό ποσοστό ακρίβειάς σας.

2. Τρέξτε μία παράλληλη ανθρώπινη μελέτη, έναντι της σωστής γραμμής βάσης. Για μία ζωντανή απόφαση, διεξαγάγετε και τα δύο: τη συνθετική μελέτη και ένα μικρό πραγματικό πάνελ με τις ίδιες ποσοστώσεις. Η γραμμή βάσης καθορίζει το αποτέλεσμα. Η επιστολή των Sharp, Danenberg και Bellman στην PNAS δείχνει τον κίνδυνο: η στοχευμένη διαφήμιση συγκρίθηκε με σκόπιμα κακώς στοχευμένη διαφήμιση, όχι με μη στοχευμένη, και κέρδισε μόνο δύο από πέντε πειράματα — περίπου όσο προβλέπει η τύχη.

3. Κάντε test–retest στη συνθετική πλευρά. Ξανατρέξτε την ίδια μελέτη και έπειτα με τις ερωτήσεις αναδιαταγμένες και παραφρασμένες. Η αστάθεια περιορίζει την ανάλυση που διαθέτει η μέθοδος για το ερώτημά σας. Αν τα Α και Β αλλάζουν θέση όταν αναδιατάσσονται, η διαφορά δεν ήταν ποτέ πραγματική. Καταγράψτε την έκδοση μοντέλου: νέα έκδοση σημαίνει νέα μελέτη.

4. Ελέγξτε υποομάδες και διασπορά. Διαφέρουν τα δημογραφικά κελιά όπως λένε τα πληθυσμιακά δεδομένα; Έχουν οι κατανομές ουρές; Συμπτυγμένες υποομάδες και ουρές που λείπουν σημαίνουν ότι το πάνελ δεν κάνει τη δουλειά που νομίζετε.

5. Επιβεβαιώστε την απόφαση με ανθρώπους. Ό,τι επιβιώσει περνά σε πραγματικούς χρήστες πριν προχωρήσει. Δεν είναι προαιρετικό· είναι φθηνότερο επειδή το συνθετικό πέρασμα αφαίρεσε τους λάθος υποψηφίους και διόρθωσε τις προβληματικές ερωτήσεις.

Αρχίστε από τα βήματα 1 και 3. Κοστίζουν λίγες πιστώσεις — η τιμολόγηση δημοσιεύεται, σε αντίθεση με το μεγαλύτερο μέρος της αγοράς — και σας λένε περισσότερα από οποιοδήποτε σημείο αναφοράς προμηθευτή.

Το δικό μας benchmark (σύντομα)

Τρέχουμε μελέτη άμεσης σύγκρισης: μία έρευνα πέντε ερωτήσεων που διεξάγεται δύο φορές, μέσω του ποσοτικού module της SynthFolk και ενός πραγματικού πάνελ με αντιστοιχισμένες ποσοστώσεις σε μία ευρωπαϊκή αγορά. Οι ερωτήσεις είναι προεγγεγραμμένες και περιλαμβάνουν σκόπιμα έναν τύπο που η βιβλιογραφία λέει ότι πρέπει να αποτύχει — την ευαισθησία τιμής. Θα δημοσιεύσουμε διαφορές κατανομής, συσχετίσεις σειράς κατάταξης, ποσοστά κατευθυντικής συμφωνίας, διαφορές υποομάδων, και τα δύο κόστη και ακατέργαστα δεδομένα.

Δεν υπάρχει ακόμη. Όταν υπάρξει, θα συνδεθεί εδώ. Μέχρι τότε, αντιμετωπίστε κάθε ισχυρισμό αυτής της σελίδας ως συλλογισμό από τη βιβλιογραφία παρακάτω και την επιχειρησιακή μας εμπειρία, όχι ως μετρημένο αποτέλεσμα.

Το έντιμο συμπέρασμα

Η συνθετική έρευνα συμπληρώνει, δεν αντικαθιστά. Συγκεκριμένα, αλλάζει τα οικονομικά ερωτημάτων που δεν θα χρηματοδοτούσατε ποτέ και οξύνει την έρευνα που χρηματοδοτείτε, αφαιρώντας λάθος στροφές πριν πληρώσετε εργασία πεδίου. Δεν παράγει τεκμήρια για ανθρώπους· παράγει μια γρήγορη, φθηνή πρότερη εκτίμηση για το τι μπορεί να έλεγαν οι άνθρωποι, την οποία κατόπιν ελέγχετε.

Μια ομάδα που αντικαθιστά τη λειτουργία έρευνας με συνθετικό πάνελ δεν εξοικονόμησε χρήματα: αγόρασε μια εύγλωττη μηχανή που επιβεβαιώνει ό,τι ήδη πίστευε. Μια ομάδα που τρέχει πρώτα συνθετικά και δεύτερα ανθρώπινα μπορεί να αντέξει οικονομικά καλύτερη ανθρώπινη έρευνα.

Συχνές ερωτήσεις

Είναι οι συνθετικοί χρήστες αρκετά ακριβείς για πραγματική απόφαση;

Για αποφάσεις που στενεύουν ένα σύνολο — ποια τρία concept προχωρούν, ποια αγορά θα ερευνήσετε πρώτα — ναι, με το παραπάνω πρωτόκολλο. Για αποφάσεις που δεσμεύουν προϋπολογισμό, προσωπικό ή λανσάρισμα, όχι.

Μπορούν οι συνθετικοί ερωτώμενοι να αντικαταστήσουν ένα πάνελ;

Όχι, και η διατύπωση είναι το πρόβλημα. Αντικαθιστούν τις μελέτες που δεν θα τρέχατε ποτέ. Εκεί όπου απαιτείται πραγματικό πάνελ — οτιδήποτε μετρημένο, ρυθμιζόμενο, ευαίσθητο ή συμπεριφορικό — δεν υπάρχει υποκατάστατο.

Ποιο είναι το περιθώριο σφάλματος;

Δεν υπάρχει, και οποιοσδήποτε προμηθευτής παραθέτει ένα χρησιμοποιεί τον όρο εσφαλμένα. Το περιθώριο σφάλματος είναι ιδιότητα πιθανοτικής δειγματοληψίας· οι συνθετικοί ερωτώμενοι δεν έχουν πλαίσιο δειγματοληψίας. Μπορείτε να μετρήσετε συμφωνία με προηγούμενα αποτελέσματα και σταθερότητα μεταξύ επαναλήψεων — βήματα 1 και 3.

Ποιους τύπους ερωτήσεων δεν πρέπει ποτέ να θέτω;

Ακριβείς τιμές και προθυμία πληρωμής, αυθόρμητη ανάκληση μάρκας ή διαφήμισης, συχνότητα παρελθούσας συμπεριφοράς, οτιδήποτε μετά το όριο εκπαίδευσης, οτιδήποτε στιγματισμένο και κάθε απάντηση που σκοπεύετε να παραθέσετε ως ποσοστό. Η συμπεριφορική συχνότητα είναι η καθαρότερη περίπτωση: οι Tanusondjaja και συνεργάτες καθόρισαν αναλογίες Pareto για αλυσίδα πολυκαταστημάτων από πάνω από 550 εκατομμύρια συναλλαγές. Κανένα prompt δεν το υποκαθιστά.

Πώς συγκρίνεται αυτό με ένα ανθρώπινο πάνελ χαμηλής ποιότητας;

Είναι η δικαιότερη σύγκριση και εκείνη που αλλάζει ταχύτερα. Τα φθηνά πάνελ φέρουν απρόσεκτους ερωτώμενους και απάτη, κάτι που περισσότερες απαντήσεις θεραπεύουν εν μέρει· τα συνθετικά πάνελ προσθέτουν συσχετισμένη μεροληψία, που περισσότερες απαντήσεις επιδεινώνουν σφίγγοντας την εμπιστοσύνη γύρω από τη λάθος απάντηση. Ο Lin αναφέρει ότι περίπου 34% των ερωτώμενων του Prolific λένε πως χρησιμοποιούν AI σε ανοικτές ερωτήσεις, φτάνοντας 73% στο Mechanical Turk για ορισμένους τύπους εργασίας, και ότι αυτόνομος πράκτορας πέρασε 99,8% από 6.000 ελέγχους προσοχής. Το «πραγματικό πάνελ» δεν είναι πλέον καθαρή γραμμή βάσης.

Τρέξτε το πρωτόκολλο επικύρωσης στη δική σας ερώτηση. Πάρτε μελέτη της οποίας ήδη γνωρίζετε την απάντηση και ξανατρέξτε τη συνθετικά — μια μικρή ποιοτική μελέτη κοστίζει περίπου δέκα πιστώσεις και οι νέοι λογαριασμοί ξεκινούν με αρκετές. Ανοίξτε τον πίνακα ελέγχου και κάντε back-test σε μία ερώτηση. Το μόνο benchmark που πρέπει να αλλάξει την απόφασή σας είναι αν το πάνελ αναπαράγει όσα ήδη γνωρίζετε.

Βιβλιογραφία

Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-Dependent Algorithm Aversion. Journal of Marketing Research. DOI: 10.1177/0022243719851788.

Chapman, C. Synthetic Survey Data? It's Not Data. Quant UX Blog. https://quantuxblog.com/synthetic-survey-data-its-not-data

European Social Survey. https://www.europeansocialsurvey.org/

Eurobarometer, European Commission. https://europa.eu/eurobarometer/

Fernandez, K., Berner, L. A., & Shevlin, B. R. K. The threat of synthetic respondents extends to clinical mental health screening. Submitted manuscript, University of California, Los Angeles, and Icahn School of Medicine at Mount Sinai.

Golder, P. N., Dekimpe, M. G., An, J. T., van Heerde, H. J., Kim, D. S. U., & Alba, J. W. (2023). Learning from Data: An Empirics-First Approach to Relevant Knowledge Generation. Journal of Marketing, 87(3), 319–336. DOI: 10.1177/00222429221129200.

Lin, Z. Synthetic respondents and the illusion of human data. Preprint, Department of Psychology, Yonsei University.

Macdonald, E. K., & Sharp, B. M. (2000). Brand Awareness Effects on Consumer Decision Making for a Common, Repeat Purchase Product: A Replication. Journal of Business Research, 48, 5–15. DOI: 10.1016/S0148-2963(98)00070-8.

MeasuringU. A Review of Experiments with Synthetic Users. https://measuringu.com/review-of-experiments-with-synthetic-users/

Ong, D. C. (2024). GPT-ology, Computational Models, Silicon Sampling: How should we think about LLMs in Cognitive Science? arXiv:2406.09464.

Papangelis, K. The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research. ACM Interactions. https://interactions.acm.org/blog/view/the-synthetic-persona-fallacy-how-ai-generated-research-undermines-ux-research

Romaniuk, J., & Sharp, B. (2004). Conceptualizing and measuring brand salience. Marketing Theory, 4(4), 327–342. DOI: 10.1177/1470593104047643.

Rosala, M., & Moran, K. (2024). Synthetic Users: If, When, and How to Use AI-Generated "Research". Nielsen Norman Group, 21 June 2024. https://www.nngroup.com/articles/synthetic-users/

Sarstedt, M., Adler, S. J., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41, 1254–1270. DOI: 10.1002/mar.21982.

Sharp, B., Danenberg, N., & Bellman, S. (2018). Psychological Targeting. Letter, Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1810436115.

Sun, S., Lee, E., Nan, D., Zhao, X., Lee, W., Jansen, B. J., & Kim, J. H. (2024). Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information. arXiv:2402.18144.

Tanusondjaja, A., Romaniuk, J., Nenycz-Thiel, M., Sakashita, M., & Viswanathan, V. (2023). Examining Pareto Law across department store shoppers. International Journal of Market Research. DOI: 10.1177/14707853221145851.

Toubia, O., Gui, G. Z., Peng, T., Merlau, D. J., Li, A., & Chen, H. (2025). Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions. arXiv:2505.17479.

Valenzuela, A., Puntoni, S., Hoffman, D., Castelo, N., De Freitas, J., Dietvorst, B., Hildebrand, C., Huh, Y. E., Meyer, R., Sweeney, M. E., Talaifar, S., Tomaino, G., & Wertenbroch, K. (2024). How Artificial Intelligence Constrains the Human Experience. Journal of the Association for Consumer Research, 9(3). DOI: 10.1086/730709.

Wind, Y. (J.), & Sharp, B. (2009). Advertising Empirical Generalizations: Implications for Research and Action. Journal of Advertising Research, 49(2). DOI: 10.2501/S0021849909090369.