Come esaminare la base probatoria di una valutazione con una skill di intelligenza artificiale
"Assessment Evidence Review" è una skill gratuita di Deeper Signals basata sull'intelligenza artificiale che valuta in che misura una valutazione psicometrica sia supportata da prove concrete rispetto a quattro standard professionali di valutazione: APA, SIOP, EFPA e ITC. Basta indicare la valutazione, fornire le prove da esaminare e specificarne l’uso previsto. Lo strumento restituisce un documento professionale che illustra i risultati emersi dalle prove, indica chiaramente dove non sono state trovate informazioni ed elenca le domande e i passi successivi necessari per completare il quadro. Non fornisce alcun verdetto, nessuna valutazione né alcuna classifica. Esamina lo strumento e le relative prove, mai il candidato.
Questa guida illustra il funzionamento della skill, come utilizzarla e come interpretare i risultati.
Perché è difficile esaminare gli elementi probatori di una valutazione
"In che misura questa valutazione è supportata da prove concrete?" è una domanda che ogni professionista serio si pone. Pochi sono in grado di rispondere in modo rigoroso o imparziale. La maggior parte delle recensioni informali è incoerente, basata su opinioni personali o influenzata dalla reputazione del marchio.
Farlo nel modo giusto significa analizzare la logica alla base dei costrutti, l’affidabilità, la validità, l’equità e le norme, per poi ricondurre ciascuno di questi aspetti a uno standard di valutazione riconosciuto. Si tratta di un lavoro lento e specialistico. È inoltre facile cadere nella tentazione di esprimere un giudizio piuttosto che fornire una descrizione imparziale delle prove.
Questa competenza fornisce una risposta neutrale per qualsiasi strumento.
Cosa prevede la revisione delle prove di valutazione
L’Assessment Evidence Review è una delle competenze gratuite in materia di IA sviluppate da Deeper Signals. È pensata per gli esperti di risorse umane, i consulenti, i team addetti agli acquisti e chiunque sia responsabile della governance delle valutazioni.
Esamina un singolo strumento o un’intera batteria di test sulla base di cinque pilastri fondamentali: fondamento teorico, affidabilità, validità, equità, nonché norme e sistema di valutazione. A ciascuna area viene assegnato uno status neutro che descrive il livello di documentazione delle prove, non se lo strumento sia valido o meno. Laddove un elemento non sia presente nella documentazione, viene registrato come “non trovato nella documentazione esaminata” e tenuto separato dalle prove parziali. Lo strumento non inventa mai prove e cita ogni fonte esterna su cui si basa.
Come valutare la base probatoria di una valutazione
Ecco la guida completa che illustra la diagnostica "Core Drivers" di Deeper Signals a scopo di sviluppo.
Passaggio 1 — Assegna un nome alla valutazione. Apri Claude/ChatGPT con lo skill Deeper Signals installato. Puoi trovare una guida all’installazione degli skill qui. Richiama lo skill in una nuova chat e specifica il nome della valutazione e dell’editore: “Core Drivers Diagnostic” di Deeper Signals.
Fase 2 — Impostare l’ambito di utilizzo, il peso decisionale e il territorio di riferimento. Lo strumento pone alcune domande di inquadramento. In questo esempio, l’ambito di utilizzo previsto è lo sviluppo, i “Core Drivers” costituiscono un fattore determinante per tali decisioni e il territorio di riferimento è il Nord America. Questi parametri definiscono su quali standard si concentra la valutazione. Lo strumento non formula mai un verdetto.
Fase 3 — Fornire le prove. Indicare al responsabile la documentazione da esaminare: un manuale tecnico, l’autorizzazione a consultare fonti pubbliche o entrambi.
Passaggio 4 — Conferma e lascia che il sistema proceda alla compilazione. La skill conferma le ipotesi e analizza il quadro di riferimento degli standard. Esamina ogni pilastro, assegna uno stato alla documentazione e trasforma eventuali elementi mancanti in domande e azioni successive.
Pochi istanti dopo, il documento è pronto.
Come interpretare i risultati come un professionista
Il rapporto si apre con una descrizione dell'ambito della revisione: la valutazione, l'utilizzo, il peso attribuito alle decisioni, la popolazione e gli standard applicati.
La panoramica descrive in un linguaggio semplice ciò che lo strumento misura. Core Drivers è uno strumento di valutazione della personalità basato sull’autovalutazione, fondato sul Modello a Cinque Fattori, che identifica sei dimensioni, dodici fattori motivazionali, trenta sotto-fattori e dodici rischi fondamentali, e viene fornito insieme a un coach digitale interattivo.
Segue poi la tabella dei risultati, raggruppati per pilastro. Per ogni area è indicato lo stato neutro e la motivazione alla base di tale valutazione. Ecco alcuni esempi tratti da questa analisi:
Dopo la tabella, il rapporto riassume gli ambiti in cui la base probatoria è ben documentata, per poi ridefinire gli aspetti non individuati come aree che potrebbero rafforzare il quadro complessivo. Per quanto riguarda i “Core Drivers” in un contesto di sviluppo, i punti di forza includono la base teorica, la validità del costrutto, la coerenza interna e il feedback orientato al coaching. Le aree da confermare includono la stabilità test-retest, le informazioni esplicite sulle fasce di punteggio e una norma specifica per il Nord America.
Poiché la recensione è concepita come contributo determinante allo sviluppo, sottolinea che l’interpretazione a livello individuale ha un peso maggiore, per cui in questo contesto assumono maggiore rilevanza la fascia di punteggio e le prove di stabilità. Elenca quindi una serie di domande specifiche da porre all’editore e indica i passi successivi, suddivisi in azioni immediate e a breve termine. Si conclude con l’elenco delle fonti esaminate, classificate per tipologia.
Cosa può e cosa non può fare questa abilità
Questa competenza non esprime alcun giudizio, non assegna alcun punteggio né stila alcuna classifica, e non afferma mai se uno strumento sia o meno idoneo. Valuta lo strumento e i dati in esso contenuti, mai un candidato, e non prende alcuna decisione in merito all’assunzione delle persone.
Non falsifica mai le prove. Se un elemento non è presente nei materiali, lo dichiara apertamente, e la dicitura “non trovato nei materiali esaminati” viene considerata neutra piuttosto che un difetto. Ogni rapporto include una dichiarazione di non responsabilità redatta in linguaggio semplice in cui si precisa che è stato generato dall’intelligenza artificiale, non fornisce alcuna garanzia in merito all’idoneità e non costituisce una certificazione, un’approvazione o una classifica.
L'approccio di Deeper Signals alla trasparenza nella valutazione
Deeper Signals considera la qualità della valutazione una questione di evidenza. Ogni risultato è riconducibile a uno standard professionale riconosciuto: gli Standard dell’APA per i test educativi e psicologici (2014), i Principi della SIOP (2018), il Modello di revisione dei test dell’EFPA e le Linee guida dell’ITC. Lo stesso quadro di riferimento e gli stessi criteri di qualità si applicano a ogni strumento, compresi i nostri.
La revisione delle prove di valutazione fa parte del pacchetto gratuito di strumenti Deeper Signals AI Skills. La guida “Come iniziare” è disponibile al link riportato di seguito.
Domande frequenti
La recensione indica se una valutazione è attendibile?
No. Non esprime alcun giudizio, valutazione o classifica. Descrive semplicemente in che misura ogni aspetto sia documentato e lascia che sia il lettore a trarre le proprie conclusioni.
Cosa significa "non trovato nei materiali esaminati"?
Il fatto chel’informazione non sia stata individuata nel materiale esaminato. Si tratta di un’osservazione neutra e non costituisce una prova del fatto che l’informazione non esista.
Posso consultare la valutazione di un concorrente?
Sì. La skill è indipendente dall'editore e non è denigratoria, quindi è possibile recensire qualsiasi strumento in tutta sicurezza.
Quali standard utilizza?
Glistandard dell’APA (2014), i principi della SIOP (2018), il modello di revisione dei test dell’EFPA e le linee guida dell’ITC.
Valuta i candidati?
No. Il sistema valuta lo strumento e i dati in esso contenuti, mai una persona, e non prende alcuna decisione in merito alle assunzioni.
