Logo Deeper Signals
Contattaci

Fino a che punto può arrivare l'intelligenza artificiale nel definire l'idoneità al lavoro?

Confronto tra modelli linguistici di grandi dimensioni ed esperti in materia di competenze trasversali

Dati salienti

I responsabili delle assunzioni conoscono i requisiti tecnici di un ruolo, ma hanno difficoltà a definire le competenze trasversali alla base del successo; sempre più spesso, quindi, ricorrono ai modelli linguistici di grandi dimensioni (LLM) per ricevere assistenza. Questo studio ha verificato in che misura l’intelligenza artificiale concordi con il giudizio degli esperti su quali siano le competenze trasversali più importanti.

  • I dati: oltre 1.000 professioni tratte da O*NET, con valutazioni di importanza fornite da esperti (SME) relative a 16 competenze trasversali. Gemini, GPT-4 e GPT-3.5 hanno classificato le stesse competenze per ciascun ruolo.
  • Conclusione principale: la convergenza è stata moderata. In media, i modelli hanno individuato circa la metà delle prime quattro competenze trasversali che le PMI hanno ritenuto più importanti, con la massima concordanza sulle prime una o due.
  • A cosa serve: modelli di profili professionali basati sulle competenze trasversali per circa 1.000 ruoli, fondati sulle valutazioni delle PMI, con l’intelligenza artificiale come indicatore secondario.
  • Il limite principale: i collegamenti tra i profili e le prestazioni effettive sono ancora in fase di verifica e i profili non sostituiscono la valutazione specifica da parte del datore di lavoro.

Come ci siamo riusciti

Abbiamo fornito a ciascun LLM una denominazione di ruolo, una descrizione e le 16 definizioni delle competenze trasversali, chiedendogli di classificare e assegnare un punteggio a tali competenze. Abbiamo misurato la concordanza con gli esperti del settore (SME) riguardo alle prime quattro competenze di ciascun ruolo, utilizzando la sovrapposizione delle prime quattro competenze e l’indice di similarità di Jaccard. Due diverse formulazioni del prompt hanno prodotto risultati simili. Abbiamo inoltre condotto un’analisi dell’impatto negativo utilizzando i dati relativi a oltre 30.000 lavoratori adulti.

Cosa abbiamo scoperto

Gemini, GPT-4 e GPT-3.5 hanno ottenuto punteggi corrispondenti a circa la metà delle prime quattro competenze trasversali indicate dagli esperti per oltre 1.000 professioni, con una media rispettivamente di 2,22, 2,14 e 1,97 su quattro.
  • Dipende dal ruolo. Il grado di concordanza più elevato si è registrato nei settori dell’assistenza amministrativa e d’ufficio (55% secondo l’indice di Jaccard), mentre quello più basso nelle arti e nel design (28%), ambiti in cui il giudizio creativo e la conoscenza tacita rivestono un’importanza fondamentale.
  • La chiarezza prevale sulla visibilità. L’accordo riflette quanto chiaramente siano definiti i comportamenti di un ruolo, più che la frequenza con cui tale ruolo compare nei dati.
  • Analisi accurata, verificata lavoro per lavoro. Nessun ruolo ha mostrato differenze significative tra i gruppi in base al genere, all’età o all’etnia, e nessuno ha violato la regola dei quattro quinti.

Cosa significa questo per i team responsabili delle assunzioni

  • Utilizzare l’IA per convalidare, non per decidere. Il consenso aumenta leggermente il peso attribuito a una competenza. Laddove l’IA e gli esperti del settore (SME) hanno opinioni divergenti, la decisione spetta agli esperti del settore.
  • Ci si può aspettare un minore grado di accordo nei ruoli creativi, taciti o specifici del contesto.
  • Valutare l'equità caso per caso e garantire che siano le persone a rispondere dell'uso che viene fatto dei risultati.

Punti chiave

Campo Dettagli
Punto di riferimento Valutazioni O*NET SME relative a 16 competenze trasversali in oltre 1.000 professioni
Modelli testati Gemini, GPT-4, GPT-3.5
Risultato principale I modelli di linguaggio di grandi dimensioni (LLM) hanno identificato circa la metà delle prime quattro competenze trasversali delle PMI (sovrapposizione media compresa tra 1,97 e 2,22)
Concordanza massima Una o due competenze principali; ruoli amministrativi, di manutenzione e di gestione aziendale
Concordanza più bassa Ruoli nei settori dell'arte e del design, della pulizia e della manutenzione, nonché ruoli dirigenziali
Equità Nessuna differenza significativa tra i gruppi né violazioni della “regola dei quattro quinti”
Caso d'uso Modelli di profili professionali basati sulle competenze trasversali per circa 1.000 ruoli, con l'intelligenza artificiale come indicatore secondario

Autori

Direttore della ricerca e sviluppo nell'ambito dell'intelligenza artificiale e della valutazione presso Deeper Signals
Dott. Luke Treglown

Il dottor Luke Treglown è uno psicologo sociale e della personalità, specializzato in personalità, cognizione, resilienza, burnout, cultura organizzativa e intelligenza artificiale, e ha conseguito un dottorato di ricerca in psicologia del disincanto dei dipendenti. Luke ha pubblicato più di 35 articoli e libri, con lavori apparsi su riviste e testate di primo piano, tra cui la BBC e l'European Business Review. Ha fornito consulenza a governi, famiglie reali e organizzazioni globali in materia di leadership, talenti e cultura.

Ottenete la vostra copia