L'Explainable AI promette di rendere leggibili le decisioni dei modelli. Cinque studi pubblicati nel 2026 avvertono che una spiegazione convincente va verificata prima di diventare la base di una decisione o di un audit.
L'Explainable AI (XAI) raccoglie i metodi che rendono comprensibile a una persona la logica con cui un modello di machine learning arriva a un risultato. Nei processi aziendali un modello che assegna un punteggio di rischio a un cliente, suggerisce uno sconto o segnala un ordine anomalo deve poter essere spiegato a chi lo supervisiona e a chi lo verifica. Per i sistemi ad alto rischio l'AI Act ne fa un requisito: l'articolo 13 chiede un funzionamento abbastanza trasparente da permettere a chi li utilizza di interpretarne l'output, l'articolo 14 che chi li supervisiona sappia interpretarlo correttamente anche con gli strumenti di interpretazione disponibili.
Il campo si è allargato in fretta. La rassegna di Fuseini e Alhassan Mumuni (Array, 2026) ricostruisce il percorso dai modelli interpretabili per costruzione, come alberi decisionali e regressioni, ai metodi che spiegano a posteriori i modelli opachi, fino ai large language model (LLM). Oggi si usano gli LLM anche per spiegare in linguaggio naturale il comportamento di altri sistemi. Abdelrahman Elsayed e colleghi (Intelligent Systems with Applications, 2026) propongono di ordinare i metodi su due assi: il meccanismo usato (perturbazioni, gradienti, attribuzione, controfattuali) e il livello di interpretabilità, cioè strutturale, semantico o comportamentale.
La critica più netta arriva da Stefan Haufe e colleghi (npj Artificial Intelligence, aprile 2026). Metodi molto diffusi come SHAP, LIME, gradienti integrati e spiegazioni controfattuali possono attribuire importanza a variabili che non hanno alcuna relazione statistica con il risultato da prevedere. Sono le cosiddette variabili soppressori: il modello le usa per ripulire il rumore di altre variabili e il metodo di spiegazione le presenta come rilevanti.
Gli autori portano l'esempio della selezione del personale. Un peso diverso da zero su un attributo protetto come il genere non dimostra che il modello lo usi per decidere, perché può servire solo a correggere altre variabili correlate. Lo stesso errore può portare a scartare un modello corretto o a promuoverne uno difettoso. Neppure il giudizio umano basta come prova: le persone accettano spiegazioni plausibili anche quando sono errate.
Anche la rassegna dei Mumuni lo riconosce: i metodi applicati a posteriori possono perdere fedeltà, perché la spiegazione non sempre segue la logica reale della previsione. Ricardo Vinuesa, Steven Brunton e Gianmarco Mengaldo (Nature Communications, agosto 2026) vanno oltre. La spiegabilità può essere illusoria, scrivono, e le giustificazioni a posteriori che imitano il ragionamento umano creano un falso senso di comprensione. L'avvertimento vale in particolare per le spiegazioni in linguaggio naturale prodotte dagli LLM, che sono anche le più persuasive.
Vinuesa, Brunton e Mengaldo fissano una distinzione utile a chiunque usi l'AI per decidere. I metodi XAI descrivono come gli input influenzano le previsioni del modello e da soli non stabiliscono relazioni di causa ed effetto nel mondo reale. Le loro analisi generano ipotesi, da confermare con dati rappresentativi, vincoli di dominio e, quando possibile, interventi mirati.
In un modello di previsione dell'abbandono dei clienti lo sconto ricevuto può risultare la variabile più influente. L'informazione riguarda il modello e non prova che lo sconto trattenga o allontani il cliente: per saperlo serve un test sul campo, per esempio due gruppi di clienti trattati in modo diverso. Gli autori propongono di passare dalla fiducia basata sulle prestazioni alla fiducia basata sulla comprensione, che rende possibili tracciabilità e audit.
La survey di Connor Wilkinson, John Yawney e S. Andrew Gadsden (Intelligent Systems with Applications, 2026), dedicata alle applicazioni in sanità, finanza, retail e manifattura, segnala due problemi ancora aperti: mancano metriche di valutazione standardizzate e le spiegazioni restano difficili da usare per chi non ha un profilo tecnico.
Per chi risponde dell'architettura e della conformità, gli studi suggeriscono alcune domande da porre a ogni progetto con modelli predittivi o agenti AI:
La supervisione umana sugli agenti AI, il modello human-in-the-loop (HITL), funziona solo se chi supervisiona riceve spiegazioni affidabili. L'articolo 14 dell'AI Act chiede anche che resti consapevole della tendenza ad affidarsi in modo eccessivo all'output del sistema. Con una spiegazione sbagliata la supervisione diventa una conferma automatica.
L'Explainable AI è una componente della governance dell'AI e va trattata con lo stesso rigore riservato ai dati e alle integrazioni. Le spiegazioni servono a formulare domande migliori sul modello, mentre la risposta arriva dalla validazione. In Rhei attiviamo l'Automazione Intelligente con supervisione umana progressiva, e ogni decisione dell'agente lascia una traccia leggibile e verificabile.
Sapete su quali spiegazioni si basano oggi le decisioni dei vostri modelli AI? Partite da Mappa della Complessità: una fotografia chiara di processi, dati e decisioni da cui attivare un'Automazione Intelligente governata.
Spunto:
Fonti ufficiali verificate: