Simulazione del pubblico: i modelli di apprendimento live (LLM) possono prevedere il comportamento umano?
Nel marketing, valutare con quanta precisione i modelli di apprendimento basati sulla logica (LLM) predicono il comportamento umano è fondamentale per valutarne l'efficacia nell'anticipare i bisogni del pubblico e per riconoscere i rischi di disallineamento, comunicazione inefficace o influenza involontaria.
La simulazione del pubblico tramite LLM consente di modellare pubblici virtuali, aiutando le organizzazioni ad anticipare le reazioni a contenuti o prodotti senza dover ricorrere a costosi sondaggi o focus group.
Abbiamo testato la capacità dei modelli di intelligenza artificiale di prevedere quale tra due post di LinkedIn dello stesso autore otterrà un maggiore coinvolgimento (mi piace, commenti, condivisioni), simulando di fatto il comportamento del pubblico umano.
Risultati del benchmark di simulazione del pubblico
Motivi alla base delle differenze di rendimento nei LLM
I modelli linguistici di grandi dimensioni mostrano diversi livelli di accuratezza nel prevedere quale tra due post di LinkedIn dello stesso autore riceverà maggiore coinvolgimento. Queste differenze derivano da quanto bene ciascun modello elabora gli input descritti nel benchmark e da quanto efficacemente identifica i fattori che influenzano le reazioni del pubblico.
Comprendere i segnali di coinvolgimento
Il benchmark richiede ai modelli di valutare indizi sottili che predicono il coinvolgimento. I modelli con prestazioni migliori tendono a rilevare questi indizi con maggiore precisione. Questi indizi includono se il post:
- Presenta un'intuizione personale o una lezione
- Poni una domanda diretta
- È comprensibile a un vasto pubblico
- Sembra promozionale
- La struttura influenza l'attenzione del post
Modelli come DeepSeek Chat V3 e Claude Opus 4 funzionano bene perché identificano questi indizi con maggiore coerenza.
Utilizzo di informazioni contestuali
La valutazione include diversi dati contestuali per ogni post e i modelli differiscono nel modo in cui li utilizzano. Ogni modello riceve:
- Post testo
- Tipo di media come testo, immagine, video o link
- Categoria di follower dell'autore
Una previsione accurata richiede che il modello combini questi input. I modelli più performanti riconoscono schemi ricorrenti, come ad esempio un minore coinvolgimento per i post con link e un maggiore coinvolgimento per le narrazioni riflessive. I modelli meno efficaci, invece, spesso trattano gli input in modo isolato o ne trascurano le interazioni.
Interpretare il comportamento umano
Prevedere il coinvolgimento richiede di ragionare sulle preferenze del pubblico. Solo pochi modelli dimostrano una forte capacità in questo ambito. Molti modelli rimangono vicini alla soglia del 50% perché il comportamento del pubblico è variabile e dipende da fattori psicologici difficili da dedurre dal solo testo.
I modelli che raggiungono circa il 52% di successo mostrano una comprensione parziale di questi segnali. Riescono a identificare schemi generali, ma faticano nei casi limite. I modelli con punteggi molto bassi, come o1, sembrano valutare erroneamente i fattori standard di coinvolgimento e spesso privilegiano l'opzione meno coinvolgente.
Influenza dei dati di addestramento
Si osserva che gli output del modello riflettono i dati su cui è stato addestrato. Se i dati di addestramento non rappresentano un'ampia gamma di stili comunicativi o gruppi demografici, il modello potrebbe interpretare erroneamente alcuni tipi di contenuto. Queste differenze di addestramento contribuiscono direttamente alla dispersione dei risultati nel benchmark.
I modelli addestrati su set di dati più ampi o più conversazionali tendono ad approssimare meglio le reazioni degli utenti. I modelli addestrati su set di dati più ristretti spesso si basano su caratteristiche superficiali che non correlano bene con l'effettivo coinvolgimento.
Generalizzazione tra autori
Il dataset include post di 50 autori con un numero variabile di follower, preferenze multimediali e stili di scrittura. I modelli devono essere in grado di generalizzare a queste differenze. I modelli più robusti formulano previsioni coerenti su ciò che stimola l'engagement, indipendentemente dall'autore.
I modelli con prestazioni inferiori applicano criteri incoerenti tra autori e articoli diversi.
Consulta la nostra metodologia per comprendere come calcoliamo queste misurazioni.
Che cos'è la simulazione del pubblico?
La simulazione del pubblico è la pratica di utilizzare popolazioni sintetiche, basate su modelli, talvolta definite pubblico virtuale, per prevedere come le persone reali potrebbero reagire a contenuti, prodotti o idee politiche prima del loro rilascio. Invece di condurre test dal vivo con costosi sondaggi o focus group, le organizzazioni possono creare delle "personas" che rappresentino il loro pubblico di riferimento e osservarne le risposte simulate.
Questa tecnica si basa su metodi derivati dalla modellazione ad agenti, dai modelli linguistici complessi e dalla simulazione di persone. Ogni agente o persona simulata è progettata con attributi quali dati demografici, preferenze o tendenze comportamentali. Insieme, queste persone interagiscono, producendo dati sintetici che approssimano il comportamento di un gruppo di clienti o cittadini reali nella stessa situazione.
Come funzionano gli strumenti di simulazione del pubblico?
Le meccaniche della simulazione del pubblico dipendono dagli strumenti utilizzati, ma la maggior parte degli approcci condivide componenti standard:
- Progettazione delle persona : i ricercatori definiscono le persona in base a specifici dati demografici, psicografici o segmenti di mercato. Queste persona possono variare da sempliciagenti basati su regole a persona IA dettagliate, arricchite da biografie e capacità di conversazione.
- Generazione di dati sintetici : i modelli linguistici di grandi dimensioni aiutano a simulare dialoghi, risposte a sondaggi o comportamenti di pubblicazione. Ad esempio, Artificial Societies utilizza da 100 a 300 personaggi basati sull'intelligenza artificiale che leggono, reagiscono e ricondividono i post di LinkedIn per simulare le dinamiche di rete.
- Modellazione delle interazioni : le personas non agiscono in isolamento. Interagiscono, si influenzano a vicenda e formano schemi come camere di risonanza, cascate di condivisioni o cambiamenti nell'opinione pubblica. Ciò consente alle simulazioni di catturare non solo le reazioni individuali, ma anche i fenomeni a livello di gruppo.
- Test di scenario : variando gli input come la formulazione del messaggio, il tipo di media o le domande del sondaggio, le organizzazioni possono osservare come un pubblico simulato reagisce a queste variazioni. Questi scenari aiutano a generare ipotesi e a testare le idee in una fase di prova sicura prima di coinvolgere persone reali.
- Analisi dei dati : i risultati vengono analizzati utilizzando tecniche come word cloud, analisi del sentiment e punteggio di accuratezza. I risultati possono mostrare i probabili vincitori tra due varianti del post, i temi comuni nei feedback o la prospettiva di una persona sul perché un'idea risuona più di un'altra.
Casi d'uso della simulazione del pubblico
Marketing e pubblicità
I brand possono testare slogan, elementi visivi o posizionamento del prodotto con un pubblico virtuale prima di investire in una distribuzione su larga scala. Invece di affidarsi esclusivamente alle risposte ai sondaggi tradizionali, possono generare dati sintetici da profili utente basati sull'intelligenza artificiale e confrontare le prestazioni tra i diversi gruppi.
Ad esempio, i marketer possono determinare se un prodotto riscuote maggiore successo tra la Generazione Z o tra i professionisti più anziani e adattare di conseguenza la propria strategia creativa. Questa capacità di validare le campagne in fase di test si traduce in un risparmio sui costi e in un targeting più preciso.
Media e editoria
Le aziende mediatiche possono simulare le prestazioni di diversi formati di contenuto (ad esempio, post brevi, articoli lunghi, video esplicativi) presso il loro pubblico.
La simulazione delle buyer persona permette anche di testare l'impatto dei titoli sui clic o il tono sulle condivisioni. Anticipando le reazioni, i redattori possono dare priorità agli articoli che hanno maggiori probabilità di diffondersi, anziché attendere i dati successivi alla pubblicazione.
Politiche pubbliche e ricerca
I governi e i think tank possono utilizzare la simulazione del pubblico per testare le idee derivanti dalla ricerca sulle politiche. Le popolazioni sintetiche, modellate su specifici dati demografici, possono illustrare come diverse comunità potrebbero reagire a una nuova tassa, a una normativa sanitaria o a un'iniziativa sul clima. I ricercatori hanno applicato le simulazioni generative per esplorare temi come la polarizzazione e la disinformazione.
Questo approccio facilita la formulazione di ipotesi e offre un ambiente più sicuro per prevedere le conseguenze indesiderate prima di interagire con persone reali.
Sviluppo del prodotto
Le aziende possono simulare il modo in cui i profili utente, rappresentativi di specifici gruppi demografici, parlano di una nuova funzionalità o di un nuovo dispositivo. Ad esempio, un'azienda tecnologica potrebbe confrontare se i proprietari di piccole imprese, gli studenti o i dirigenti aziendali attribuiscono maggiore valore a un nuovo aggiornamento software.
Le informazioni ricavate dalla simulazione possono essere utili per orientare le decisioni di progettazione e ridurre il rischio di rilasciare funzionalità che non incontrano il favore del pubblico di riferimento.
Formazione e istruzione
Università e aziende possono utilizzare le simulazioni per creare ambienti di pratica in cui gli studenti interagiscono con personaggi basati sull'intelligenza artificiale. Un aspirante negoziatore potrebbe esercitarsi con controparti simulate, oppure uno studente di medicina potrebbe testare le proprie strategie di comunicazione con pazienti virtuali.
Questi scenari di addestramento offrono una gamma realistica di risposte, consentendo agli studenti di affinare le proprie competenze prima di confrontarsi con persone reali.
agenzie di ricerche di mercato
I sondaggi tradizionali e i focus group possono essere costosi e lenti. Le agenzie di ricerche di mercato possono integrarli con la simulazione del pubblico per generare dati sintetici che forniscono rapidamente informazioni direzionali.
Sebbene le simulazioni non sostituiscano l'interazione con clienti reali, possono ridurre la dipendenza da costosi panel e accelerare i test nelle fasi iniziali.
Strumenti di simulazione del pubblico
Se invece di utilizzare i LLM (Large -Level Models) stai cercando uno strumento specifico per la simulazione del pubblico, ecco alcune opzioni:
Società artificiali
Artificial Societies consente agli utenti di descrivere un pubblico di riferimento in linguaggio semplice o di generarne uno basandosi sulle interazioni sui social media. Successivamente, costruisce una "società" di profili utente ed esegue simulazioni basate sull'intelligenza artificiale.
Ogni simulazione include test A/B automatici, che generano varianti di un messaggio nello stile dell'utente e le testano sul pubblico di riferimento. I risultati vengono presentati con punteggi, commenti e riepiloghi, consentendo una rapida interpretazione. I casi d'uso spaziano dalle pubbliche relazioni allo sviluppo prodotto, dal branding al marketing, dal giornalismo ai social media.
Figura 1: Dashboard di simulazione delle società artificiali.
Esempio concreto: Teneo
Teneo, un'agenzia di pubbliche relazioni, si stava preparando a lanciare una nuova strategia tecnologica e aveva bisogno di verificare se il suo messaggio avrebbe avuto risonanza presso i principali stakeholder prima di annunciarlo pubblicamente. Tuttavia, l'azienda si trovava di fronte a diversi vincoli:
- La strategia era riservata, il che limitava l'utilizzo dei metodi di ricerca tradizionali.
- I tempi a disposizione erano ristretti, il che rendeva difficili le indagini su larga scala.
- Interessi importanti come i responsabili politici, i leader del settore e le parti interessate specializzate erano pressoché impossibili da raggiungere attraverso i tradizionali panel di ricerche di mercato.
Per affrontare queste sfide, Teneo ha stretto una partnership con Artificial Societies. Il processo ha incluso:
- Creazione di personaggi AI: sono stati generati oltre 5.000 personaggi AI. Questi personaggi si basavano su profili demografici e psicografici reali, frutto di analisi dei social media e ricerche qualitative.
- Creazione di “società” specializzate: società di intelligenza artificiale separate rappresentavano diversi gruppi di stakeholder, tra cui:
- Consumatori
- colleghi del settore
- Responsabili politici, lobbisti e persone influenti in ambito politico.
- Testare le narrazioni dei messaggi: i ricercatori hanno testato sei narrazioni tecnologiche concorrenti utilizzando sondaggi ed esperimenti all'interno di ciascuna società dell'IA.
- Analisi delle reazioni: Le risposte sono state analizzate sia a livello aggregato che a livello individuale, consentendo al team di confrontare le reazioni tra i diversi segmenti di pubblico.
La simulazione ha prodotto risultati su larga scala molto più rapidamente rispetto ai metodi di ricerca tradizionali. I risultati principali includono:
- 189.756 risposte uniche generate dalle simulazioni di intelligenza artificiale.
- Approfondimenti basati su 30 domande di ricerca dettagliate, articolate in sei narrazioni.
- Individuazione della narrazione più efficace e della messaggistica personalizzata per ciascun segmento di pubblico.
- Presentazione dei risultati tramite una piattaforma di analisi interattiva e un report scritto. 1
Ask rally
Ask Rally è un simulatore di pubblico virtuale che consente agli utenti di testare domande, contenuti e idee con personaggi basati sull'intelligenza artificiale, progettati per assomigliare a pubblici reali.
Gli utenti creano o modificano i profili utente (personas) oppure li clonano da dati esistenti, come interviste o sondaggi. Dopo aver definito il pubblico di riferimento, possono porre domande e ricevere risposte generate dai profili utente, da 5 a 100. La piattaforma aggrega le risposte, fornisce informazioni chiave e consente agli operatori di votare le opzioni.
Le caratteristiche principali includono:
- Risposte multi-agente con riepiloghi e approfondimenti aggregati.
- La memoria delle persona basata su Mem0 consente alle persona di conservare il contesto e gli schemi comportamentali nel tempo, contribuendo a simulare reazioni del pubblico più coerenti e realistiche.
- La sofisticazione del pubblico su quattro livelli consente agli utenti di modellare pubblici con diversi livelli di competenza o familiarità con un argomento.
- La simulazione delle reazioni ai video consente ai team di testare come il pubblico potrebbe reagire a contenuti video come annunci pubblicitari, materiali di campagna o presentazioni.
- L'accesso tramite API consente ai team di integrare il simulatore nei flussi di lavoro di ricerca, negli strumenti interni o nelle pipeline di test automatizzate.
- Ambienti di test per siti web, campagne e contenuti multimediali.
- Funzionalità aggiuntive come gemelli digitali, ambienti di simulazione e calibrazione rispetto a dati reali.
- Piano gratuito per la sperimentazione e i test preliminari.
Pubblico generativo di Dentsu
Generative Audiences è uno strumento di marketing intelligence basato sull'intelligenza artificiale che crea segmenti di pubblico simulati a partire da dati reali. Aiuta i brand a migliorare il targeting del pubblico, la pianificazione dei media e le performance delle campagne, consentendo ai marketer di interagire con questi profili virtuali e di analizzarne le risposte. 2
- Dati deterministici e basati sull'intelligenza artificiale: combina dati deterministici basati sulle persone con segnali comportamentali basati sull'intelligenza artificiale per modellare accuratamente il comportamento del pubblico.
- Analisi interattiva dei consumatori: i marketer possono interagire con profili utente simulati per esplorare motivazioni e comportamenti, ad esempio, per testare come il pubblico potrebbe reagire a nuovi messaggi, idee di prodotto o eventi di attualità.
- Integrazione di dati da fonti multiple: sintetizza diverse fonti di dati (statiche e in tempo reale) e le integra con i dati esistenti del cliente.
- Pianificazione e attivazione dei media: le informazioni ricavate dal pubblico generato dall'IA possono essere utilizzate per creare strategie mediatiche mirate e attivare campagne.
- Modellazione del pubblico nel rispetto della privacy: grazie all'utilizzo di simulazioni statistiche anziché al forte affidamento su identificatori personali, la soluzione consente di scalare il targeting del pubblico mantenendo al contempo una maggiore conformità alla normativa sulla privacy.
Gemello elettrico
Electric Twin è una piattaforma di pubblico sintetico che crea popolazioni digitali a partire da dati reali. 3
- Modellazione di pubblico sintetico: crea popolazioni digitali che rappresentano gruppi demografici reali e simulano il comportamento umano.
- Feedback del pubblico in tempo reale: gli utenti possono porre domande e ricevere risposte immediate da personaggi simulati, anziché dover compilare sondaggi.
- Test di scenari e messaggi: i team possono valutare concetti di prodotto, campagne, strategie di prezzo e proposte politiche prima del loro lancio.
- Sondaggi e focus group simulati: supporta sondaggi rapidi, interviste e discussioni in stile focus group con personaggi IA.
- Pubblico personalizzato e predefinito: le organizzazioni possono creare segmenti di pubblico utilizzando i dati dei propri sondaggi o utilizzare popolazioni demografiche predefinite in diversi paesi.
- Motore di previsione: confronta i risultati con i dati di sondaggi reali per stimare le probabili risposte dei consumatori.
- Ambiente di ricerca che tutela la privacy: le popolazioni sintetiche consentono di testare le ipotesi senza esporre dati sensibili o personali.
Simile AI
Creato da ricercatori di Stanford, Simile si propone di simulare grandi gruppi, o persino intere società, per prevedere come le persone potrebbero reagire a prodotti, politiche o decisioni aziendali. 4
- Gemelli digitali: creano agenti di intelligenza artificiale che rappresentano individui reali sulla base di dati comportamentali e interviste.
- Simulazioni del comportamento umano su larga scala: modellano le interazioni tra migliaia di agenti per prevedere le decisioni dei consumatori o gli esiti sociali.
- Previsione di scenari: le aziende possono anticipare eventi come cambiamenti nella domanda dei consumatori o domande degli analisti durante le conference call sui risultati finanziari.
- Architettura generativa degli agenti: gli agenti di intelligenza artificiale pianificano azioni, si formano opinioni e interagiscono tra loro per produrre dinamiche comportamentali realistiche.
Metodologia di benchmarking
La nostra domanda di ricerca per questo benchmark era: "I modelli di intelligenza artificiale possono prevedere quale post di LinkedIn otterrà maggiore coinvolgimento prima della pubblicazione?". A tal fine, abbiamo valutato l'accuratezza con cui i modelli di intelligenza artificiale sono in grado di prevedere quale tra due post di LinkedIn dello stesso autore genererà un maggiore coinvolgimento totale (mi piace + commenti + condivisioni) entro 7 giorni dalla pubblicazione.
Per il nostro dataset abbiamo utilizzato i post di 50 autori. Ogni riga contiene una coppia di post dello stesso autore con le seguenti caratteristiche:
- Contenuto del post: Testo grezzo di entrambi i post
- Tipo di media: testo/immagine/video/link per ogni post
- Contesto dell'autore: Fascia di follower (ad esempio, "1k-5k", "5k-20k")
- Dati di fatto: numeri effettivi di coinvolgimento e etichetta del vincitore (A o B)
Dati di esempio:
Post A (Vincitore – 156 interazioni): "Dopo tre startup fallite, ecco cosa avrei voluto che qualcuno mi dicesse sul product-market fit: smetti di sviluppare funzionalità richieste dai tuoi cinque utenti beta. Inizia a concentrarti sul problema che il 95% del tuo mercato di riferimento affronta realmente. Ho commesso questo errore per 2 anni. Non ripeterlo. Qual è la lezione più importante che hai imparato a tue spese in ambito di prodotto?"
- Media: testo
- Follower: 5.000-20.000
Post B (84 interazioni): "Siamo entusiasti di condividere la nostra nuova dashboard di analisi basata sull'intelligenza artificiale! Date un'occhiata alla demo e fateci sapere cosa ne pensate."
- Media: link
- Follower: 5k-20k
Analisi : Il post A ha vinto perché fornisce consigli specifici e pratici basati su un fallimento personale, pone una domanda coinvolgente e offre contenuti pertinenti. Il post B è una promozione generica con un potenziale di coinvolgimento inferiore.
Valutazione
In fase di valutazione, ogni modello riceve queste informazioni per entrambi i ruoli:
- Post testo
- Tipo di media
- Conteggio follower dell'autore
Con queste informazioni, ci si aspetta che i modelli prevedano se il post A o il B sia quello con le prestazioni migliori. Possono mostrarci il loro ragionamento, ma non lo abbiamo valutato in questo benchmark.
Poiché i modelli hanno una probabilità del 50% di essere precisi riguardo al miglior performer (ci sono solo due scelte), stiamo valutando di cercare in futuro un valore di riferimento pari alla "probabilità di sollevamento (precisione meno il 50%, che rappresenta la probabilità di una scelta casuale)".
Tuttavia, in questo set di dati non abbiamo osservato risposte casuali; tutti i modelli hanno spiegato il loro ragionamento, indipendentemente dal fatto che le loro risposte fossero giuste o sbagliate.
Quali sono le potenziali sfide della simulazione del pubblico?
Nonostante le sue potenzialità, la simulazione del pubblico deve essere affrontata con cautela.
Validazione rispetto a clienti reali
Le previsioni basate su pubblici virtuali devono essere confrontate con i risultati effettivi. Senza parametri di riferimento, i risultati potrebbero generare una falsa sicurezza. La validazione è fondamentale per garantire che le personalità sintetiche riflettano accuratamente il comportamento delle persone reali.
Pregiudizi nei modelli linguistici
Le personalità generate dall'IA sono plasmate dai dati utilizzati per addestrare i modelli linguistici sottostanti. Se tali dati sottorappresentano determinati gruppi, le personalità risultanti potrebbero distorcere la rappresentazione di specifiche fasce demografiche. Ciò può influire sulla simulazione delle risposte ai sondaggi o dell'opinione pubblica.
Interpretazione
Sebbene le conversazioni tra persone o le word cloud possano mostrare temi ricorrenti, non è sempre chiaro il motivo per cui emergono determinati risultati. La complessità delle risposte nei LLM può rendere difficile spiegare o convalidare il comportamento del pubblico.
Linee guida etiche
L'utilizzo di dati sintetici per la ricerca sui clienti o per la definizione delle politiche richiede trasparenza. Le organizzazioni devono assicurarsi di non presentare le simulazioni come sostitutive dei clienti reali e devono rispettare i limiti etici nella definizione delle personas .
Generalizzabilità
Le simulazioni dipendono fortemente dalla portata della progettazione delle persona. Un modello addestrato su fondatori di aziende tecnologiche statunitensi non può prevedere automaticamente le risposte della Generazione Z in Asia. La generalizzazione eccessiva è un rischio quando si estendono i risultati a popolazioni non rappresentate nella simulazione.
Costo computazionale
Eseguire simulazioni dettagliate con migliaia di personaggi può richiedere risorse considerevoli. Sebbene gli strumenti di intelligenza artificiale stiano migliorando l'efficienza, gli esperimenti su larga scala richiedono ancora tempo, competenze tecniche e infrastrutture.
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.