Logo Deeper Signals
Contattaci

L'intelligenza artificiale è in grado di individuare le domande che mettono alla prova la personalità prima che le sottoponiamo alle persone?

Simulare il partecipante prima di reclutarne uno

Dati salienti

Per testare un item relativo alla personalità è solitamente necessario ricorrere a un campione di persone reali, il che comporta tempi lunghi e costi elevati. Abbiamo verificato se un modello di intelligenza artificiale, fungendo da rispondente sostitutivo, fosse in grado di individuare item poco validi, traduzioni e nuove misure prima ancora che venisse reclutato alcun partecipante.

  • I dati: 300 rispondenti reali al nostro test “Core Drivers”, selezionati tra 8.565 profili completi. Per ogni persona, 12 delle 90 risposte sono state nascoste e sostituite con valori previsti, per un totale di 86.400 previsioni.
  • Conclusione principale: sulla base dei sei punteggi relativi ai tratti di personalità di una persona, il modello ha indovinato il 74,0% delle sue risposte nascoste alle domande a scelta forzata. Se invece si sono prese in considerazione 78 delle sue risposte precedenti, la percentuale di risposte corrette è stata del 66,4%.
  • A cosa serve: decidere quali elementi sottoporre per primi alla revisione umana. Non sostituisce i test effettuati con persone reali.
  • Il limite principale: i punteggi dei tratti sono stati ricavati dalla valutazione completa, che include le risposte oggetto della previsione. Pertanto, questo test valuta la capacità del modello di ricostruire una persona, non quella di prevederla.

Come ci siamo riusciti

Abbiamo utilizzato Core Drivers, il nostro test di personalità composto da 90 item articolato su sei dimensioni (Amabilità, Coscienziosità, Motivazione, Estroversione, Apertura mentale e Stabilità). Gli item prevedono una scelta obbligata (scegli l’affermazione che ti descrive meglio) o una valutazione su una scala a quattro livelli. Abbiamo condotto lo studio due volte, su rispondenti reali di lingua inglese provenienti dallo stesso campione di 8.565 profili completi. La prima replica ha coinvolto 100 persone. La replica su scala più ampia ne ha coinvolte 300, selezionate in modo da coprire punteggi bassi, medi e alti; le correlazioni tra i loro tratti corrispondevano strettamente a quelle dell’intero campione (r = 0,987). Il modello ha previsto le 12 risposte nascoste di ciascuna persona a partire da una delle due descrizioni: i punteggi relativi ai sei tratti (profilo) o 78 delle loro precedenti risposte (cronologia delle risposte). Nello studio più ampio abbiamo ripetuto ogni esecuzione con impostazioni diverse, ad esempio verificando se il modello potesse individuare quale tratto venisse misurato da ciascuna domanda e se gli venisse richiesto di rispondere onestamente, in fretta o in modo leggermente idealizzato. L’accuratezza è la percentuale di risposte nascoste che il modello è riuscito a indovinare.

Le stesse 300 persone vengono descritte al modello in due modi e sottoposte a ogni combinazione di impostazioni per prevedere 12 risposte nascoste ciascuna

Cosa abbiamo scoperto

Un profilo breve e strutturato ha superato un lungo elenco di risposte precedenti sotto ogni punto di vista, sia nel primo studio (100 persone) che nella replica su scala più ampia (300 persone).

Un breve profilo ha avuto la meglio su una lunga cronologia delle risposte, e la temperatura non ha avuto quasi alcuna importanza
Misura Profilo, 100 persone Storia, 100 persone Profilo, 300 persone Storia, 300 persone
Risposte a scelta obbligata corrispondenti 78.2% 70.5% 74.0% 66.4%
Valutare le risposte in un solo passaggio 92.5% 82.2% 89.7% 86.7%
Errore medio nelle voci di valutazione (scala a gradini; più basso è meglio) 0.62 0.81 0.67 0.72
Correlazione a livello di item con le risposte effettive .50 .32 .47 .31
  • Il risultato del profilo si è confermato anche su larga scala. Ha registrato un leggero calo, passando dal 78,2% al 74,0%, con un numero di persone triplicato, e si è mantenuto al di sopra dei dati storici relativi alle risposte.
  • Avere più informazioni non significava avere informazioni migliori. Le 78 risposte precedenti contenevano il segnale, ma il modello non è riuscito a individuare la parte rilevante.
  • Le impostazioni hanno avuto un’importanza minore rispetto alla descrizione della persona. Nei profili, la “temperatura” ha modificato l’accuratezza di 0,3 punti. Consentire al modello di individuare quale tratto fosse misurato da ciascuna domanda ha comportato una variazione di 4,5 punti (dal 71,8% al 76,3%).

In sintesi, il modello è in grado di riprodurre in gran parte le caratteristiche di un individuo, ma si tratta di una ricostruzione, non di un gemello digitale. I gruppi simulati apparivano umani solo quando erano composti da profili di persone reali. La modifica delle impostazioni del modello ha aggiunto varietà, ma non una varietà simile a quella umana.

Dove l'abbiamo utilizzato finora

Lo stesso approccio è stato sperimentato su tre problemi pratici, utilizzando gli stessi 300 profili e GPT-4.1-mini. In ciascun caso, le risposte simulate sono state utilizzate per individuare gli elementi che sembravano problematici, in modo che gli utenti potessero esaminarli per primi. Non sono state utilizzate per approvare alcunché.

  • Traduzioni: versioni di prova tradotte automaticamente in spagnolo e hindi di tutte le 90 voci. Un sistema di controllo ha segnalato 25 delle 90 voci in spagnolo e 34 delle 90 in hindi per la revisione. In una delle voci segnalate, il 41,0% ha scelto «pienamente d’accordo» nella versione simulata in inglese, ma solo il 2,3% in quella in hindi. Un secondo ciclo di traduzione ha avvicinato 21 delle 25 voci in spagnolo alla versione inglese, ma solo 12 delle 30 voci in hindi.
  • Nuovi item: 30 item provvisori relativi all’Amabilità hanno generato 9.000 risposte simulate. Nel complesso, il campione è risultato solido (alfa = 0,925), ma 8 dei 30 item richiedevano un’ulteriore valutazione: uno distingueva a malapena i soggetti, mentre un altro si comportava più come la Stabilità che come l’Amabilità.
  • Nuovi tipi di misurazione: nei test di giudizio situazionale, le risposte variavano molto poco e non assomigliavano alle scelte umane. Si tratta di un risultato aperto.

Autori

Direttore della ricerca e sviluppo nell'ambito dell'intelligenza artificiale e della valutazione presso Deeper Signals
Dott. Luke Treglown

Il dottor Luke Treglown è uno psicologo sociale e della personalità, specializzato in personalità, cognizione, resilienza, burnout, cultura organizzativa e intelligenza artificiale, e ha conseguito un dottorato di ricerca in psicologia del disincanto dei dipendenti. Luke ha pubblicato più di 35 articoli e libri, con lavori apparsi su riviste e testate di primo piano, tra cui la BBC e l'European Business Review. Ha fornito consulenza a governi, famiglie reali e organizzazioni globali in materia di leadership, talenti e cultura.

Responsabile della scienza dei dati
Diego Forteza

Diego Forteza è uno psicometrista e data scientist con oltre dieci anni di esperienza nello sviluppo di strumenti di valutazione e analisi. Ha guidato iniziative nazionali nel campo della valutazione e ha contribuito all’innovazione nel settore dell’EdTech presso X-ray e Blackboard. Le sue competenze spaziano dalla teoria della risposta all’item (IRT) ai test adattivi e alla modellizzazione predittiva. È noto per la sua capacità di sviluppare prodotti basati sui dati dall’inizio alla fine e di trasformare modelli complessi in strumenti semplici e intuitivi.

Ottenete la vostra copia