Dal dubbio alla decisione: scegliere le soglie nel Machine Learning

Cos’è una soglia decisionale?

Quando si parla di modelli predittivi di classificazione – cioè, sistemi che cercano di “indovinare” a quale categoria appartiene qualcosa – c’è un dettaglio fondamentale che spesso passa inosservato.

La maggior parte dei modelli non restituisce subito una risposta secca, come un “sì” o un “no”: prima calcola una probabilità.

Per trasformare quella probabilità in una decisione, serve un meccanismo semplice ma cruciale: la soglia (o threshold) decisionale. È una sorta di linea di confine. Immaginando un modello di classificazione binario, se la probabilità stimata dal modello supera quella soglia, l’osservazione viene assegnata a una classe; se non la supera, verrà assegnata l’altra.

Un modo intuitivo per capirne il funzionamento è pensare a quando decidiamo se portare l’ombrello o no. Guardiamo la probabilità di pioggia: magari se è sotto il 30% usciamo tranquilli, sopra il 70% lo prendiamo senza pensarci. Ecco: quella percentuale mentale è la nostra “soglia decisionale”.

Il modello fa la stessa cosa, solo in modo più rigoroso (o “matematico”).

Perché la soglia di default a 0.5 spesso non basta

Molto spesso i modelli predittivi a due classi vengono usati con i parametri di default, senza modificare la soglia che stabilisce a quale categoria assegnare un elemento.

Nella maggior parte di questi casi, il modello adotta automaticamente una soglia di 0,5: se la probabilità stimata è superiore, si sceglie una classe; se è inferiore, l’altra.

Il problema è che questa scelta di default  non è sempre la più adatta. In molti contesti, infatti, la soglia ideale non è affatto 0,5, perché dipende dagli obiettivi concreti del dominio o del business. Ci sono scenari in cui vogliamo catturare più casi possibili (alta sensibilità), anche a costo di qualche falso allarme; altri in cui preferiamo evitare errori (alta specificità), anche se rischiamo di perderci qualche caso vero.

In poche parole, lasciare la soglia a 0,5 significa accettare una decisione “standard”, che però raramente è la migliore per il problema reale che vogliamo risolvere.

Come si sceglie una soglia ottimale: le principali strategie

Per trovare la soglia ottimale, si possono usare diverse tecniche: ad esempio, valutare alcune metriche del modello o analizzare il grafico della curva ROC (Receiver Operating Characteristic). Questo grafico serve a due scopi:

1. Valutare la bontà del modello: si può calcolare l’AUC, ovvero l’area sotto la curva ROC, valori intorno o superiori a 0,85 indicano un buon modello, mentre un AUC di 0,5 (la diagonale) mostra che il modello non è migliore del caso (in altre parole, la linea tratteggiata blu è equivalente al lancio di una moneta). Più la curva ROC si avvicina all’angolo in alto a sinistra, migliore è la capacità del modello di aumentare i veri positivi riducendo i falsi positivi. Per questo la ROC è utile per scegliere la soglia ottimale in base agli obiettivi del problema.
2. Individuare la soglia migliore: sull’asse orizzontale del grafico troviamo i falsi positivi (1-specificità), mentre sull’asse verticale troviamo i veri positivi (sensibilità). La soglia ottimale è quella che bilancia al meglio questi valori, secondo le esigenze del modello o del business

Sensibilità e specificità: bilanciare i rischi

Quando si tratta di scegliere la soglia giusta, due concetti diventano fondamentali: sensibilità e specificità.

• La sensibilità, o tasso dei veri positivi (True Positive Rate, TPR), indica la capacità del modello di individuare correttamente i casi positivi. In altre parole, quanti dei “veri casi” il modello riesce effettivamente a catturare.
• La specificità, o tasso dei veri negativi (True Negative Rate, TNR), indica invece la capacità del modello di riconoscere correttamente i casi negativi, evitando falsi allarmi.

L’importanza di questi due indicatori emerge chiaramente se pensiamo alla matrice di confusione, dove si contano veri positivi, veri negativi, falsi positivi e falsi negativi.

La soglia di probabilità scelta dal modello influenza direttamente questi valori: spostando la soglia possiamo aumentare la sensibilità a scapito della specificità, o viceversa.

In pratica, capire questi concetti ci permette di bilanciare i rischi a seconda del contesto: in medicina potremmo preferire catturare più malati (alta sensibilità), mentre in antifrode bancaria potremmo voler ridurre i falsi allarmi (alta specificità).

Alternative alla ROC: Precision-Recall e F1-score

Oltre al grafico ROC, esistono altri strumenti utili per valutare i modelli e scegliere la soglia ottimale:

Precision-Recall: mostra quanto le previsioni positive del modello siano effettivamente corrette (precisione) e quanti dei veri positivi il modello riesce a catturare (recall). È particolarmente utile quando le classi non sono equilibrate, cioè quando i casi positivi sono molto più rari dei negativi.

F1-Score: è una misura che combina precision e recall in un unico numero, bilanciando il compromesso tra i due. È utile quando vogliamo avere contemporaneamente una buona capacità di catturare i positivi e ridurre gli errori, senza dover guardare separatamente precisione e recall.

Soglie diverse per modelli multiclasse: perché è più complesso?

Quando il modello deve scegliere tra più di due categorie (modello multiclasse), la scelta della soglia è ancora possibile, ma un po’ più complicata.

Il motivo è semplice: non c’è più un solo classificatore, ma più classificatori che lavorano insieme. Ci sono due modi principali:

• OVR (One Versus Rest): per ogni classe si crea un classificatore che distingue quella classe da tutte le altre. Se ci sono 3 classi, ci saranno 3 classificatori separati. La soglia decisionale può essere ottimizzata separatamente per ciascun classificatore binario.
• OVO (One Versus One): si crea un classificatore per ogni coppia di classi. Con 3 classi ci saranno 3 classificatori; con 5 classi, ce ne saranno 10, e così via. Alla fine, il modello decide la classe finale con un “voto” tra i classificatori. Anche qui ogni classificatore può avere una soglia diversa, ma il suo effetto sulla decisione finale è più indiretto perché dipende dal voto complessivo.

In entrambi i casi, la complessità principale sta nel dover gestire più soglie diverse invece di una sola, e nell’assicurarsi che siano bilanciate in modo da ottenere le migliori performance complessive del modello.

Casi reali: come cambia la soglia in medicina, finanza, sicurezza informatica

La scelta della soglia decisionale ha effetti concreti in molti ambiti, e la sua calibrazione dipende sempre dal contesto e dagli obiettivi. Ecco alcuni esempi:

• Sanità – prevenzione e monitoraggio dei pazienti a rischio
  In ambito sanitario, un modello predittivo può abbassare la soglia per catturare più pazienti a rischio, anche se questo comporta un aumento dei falsi positivi. L’obiettivo è prevenire situazioni critiche senza sovraccaricare il sistema clinico.
• Diagnosi medica avanzata
  Per analisi diagnostiche, come le immagini mediche, la soglia può essere regolata per ridurre i falsi positivi, evitando esami invasivi o procedure non necessarie, pur mantenendo un’alta capacità di individuare casi realmente a rischio.
• Finanza – rilevazione di frodi
  Nei sistemi bancari o finanziari, la soglia determina quanti tentativi di frode vengono intercettati e quanti allarmi inutili si generano. Una soglia più sensibile permette di catturare più frodi, ma può aumentare gli alert manuali; una soglia più conservativa riduce i falsi allarmi, a costo di perdere qualche caso reale.
• Sicurezza informatica – monitoraggio della rete
  Nei sistemi di cybersecurity, la soglia influenza l’equilibrio tra falsi allarmi e mancati rilevamenti di intrusioni. Una soglia più aggressiva segnala più potenziali attacchi, mentre una soglia più prudente riduce gli alert inutili senza compromettere la sicurezza critica del sistema.

Questi esempi mostrano chiaramente che non esiste una soglia universale: la scelta deve sempre riflettere le priorità e i vincoli del contesto specifico, bilanciando i rischi tra falsi positivi e falsi negativi.

Come valutare se la soglia scelta è “giusta” nel lungo periodo

La scelta della soglia ottimale su dati che cambiano nel tempo non è mai banale. Non possiamo dare per scontato che una soglia che funziona bene oggi continui a classificare correttamente i dati tra qualche mese o anno. Questo fenomeno è dovuto in gran parte al concept drift, ovvero il cambiamento nella distribuzione dei dati: nel tempo, le caratteristiche dei casi possono modificarsi, le abitudini degli utenti cambiare, oppure nuovi eventi o trend possono alterare il comportamento del sistema che stiamo monitorando.

Per affrontare questo problema è fondamentale monitorare regolarmente le metriche di performance del modello, come AUC, precision, recall o F1-score, e confrontarle con i valori storici. Se si osservasse un peggioramento nella qualità delle previsioni, potrebbe essere necessario ridefinire la soglia ottimale o addirittura aggiornare il modello stesso. Ad esempio, in un sistema di rilevazione frodi bancarie, ciò significa che una soglia calibrata sei mesi fa potrebbe non catturare più efficacemente le nuove strategie fraudolente, richiedendo un riaggiustamento per mantenere l’efficacia e limitare i falsi positivi.

Errori comuni nell’ottimizzazione delle soglie

Vediamo ora alcuni errori comuni nella scelta della soglia ottimale:

• Usare una sola metrica: basarsi solo su recall o precision, ad esempio, può portare a una soglia che sembra ottimale ma in realtà non lo è.
• Ignorare i cambiamenti nei dati (concept drift): se i dati cambiano nel tempo, una soglia calcolata in passato può diventare inadeguata e peggiorare le prestazioni del modello.
• Bilanciare male falsi positivi e falsi negativi: la scelta dipende dal contesto. In alcune situazioni è meglio tollerare più falsi positivi, in altre più falsi negativi. Non esiste una soluzione universale.

Conclusione: perché la soglia è molto più importante di quanto sembra

In conclusione, la soglia decisionale non è mai un semplice numero da impostare a caso: è una scelta strategica che influenza direttamente l’efficacia di un modello predittivo. Una soglia ben calibrata può far emergere pattern nascosti nei dati e permettere decisioni migliori, mentre una soglia sbagliata può compromettere l’intero processo decisionale.

Prendiamo ad esempio modelli antifrode nel settore finanziario: una soglia troppo bassa genera troppi falsi allarmi, con conseguente spreco di tempo e risorse per verificare transazioni innocue; una soglia troppo alta rischia di far passare frodi reali, con perdite economiche significative. Lo stesso vale in medicina: un modello predittivo che segnala malattie gravi deve avere una soglia attentamente calibrata, perché falsi negativi possono costare vite umane, mentre falsi positivi possono generare stress e interventi inutili per i pazienti.

La soglia decisionale, quindi, non è solo tecnica: è una leva strategica che bilancia rischi e benefici in base al contesto. La sua importanza cresce ulteriormente quando i dati cambiano nel tempo, come spesso accade in applicazioni reali: monitoraggio continuo, aggiornamento delle metriche e ridefinizione periodica della soglia diventano essenziali per mantenere il modello affidabile e performante.

In sintesi, ignorare la soglia o trattarla come un dettaglio secondario può avere conseguenze concrete, sia in termini economici che di fiducia degli utenti. Al contrario, gestirla con cura trasforma un modello predittivo in uno strumento potente e sostenibile, capace di adattarsi alle sfide del mondo reale.

Di Salvatore Zizzi, Data Scientist