L’Occhio insonne: rilevare l’anomalia nel mare di dati

Pexels Jan Van Der Wolf 11680885 10932824

Come notare il malfunzionamento di un macchinario prima che si blocchi del tutto? Come sapere se una transazione con carta di credito è fraudolenta? Come essere certi che un ordine inserito nel sistema sia corretto? Tutte queste domande hanno una risposta in comune: l’Anomaly Detection!

 

Cos’è l’Anomaly Detection?

L’Anomaly Detection, o rilevamento delle anomalie, è un insieme di tecniche e metodologie volte a identificare situazioni o casistiche che si discostano dal normale funzionamento di un ambiente. In pratica, questi metodi sono in grado di analizzare un’enorme quantità di dati e riconoscere pattern, dati e comportamenti che non rientrano nell’attività “normale”.

 

Riconoscere l’Insolito: esempi pratici

L’esempio più classico è quello delle transazioni fraudolente. Se il titolare di una carta di credito è solito spendere 500€ a settimana e il sistema rileva una spesa di 10.000€, potrebbe segnalare questa transazione come un problema. Oppure, se un macchinario impiega normalmente 10 secondi per produrre un pezzo e improvvisamente inizia a impiegarne 30, questo potrebbe essere il segnale di un guasto imminente. Similmente, se un sistema di gestione ordini rileva un numero di pezzi insolito per un determinato cliente o prodotto, potrebbe essere un’anomalia da verificare.

 

La sottile linea tra anomalia e normalità

Tuttavia, bisogna prestare molta attenzione quando si applicano queste analisi. Se è vero che tutte le anomalie sono comportamenti al di fuori della norma, non è vero il contrario (i comportamenti fuori dalla norma non sono tutti anomalie). Tornando all’esempio della spesa sulla carta di credito, una spesa decisamente più elevata del solito potrebbe non indicare necessariamente una transazione fraudolenta; magari si tratta semplicemente di un acquisto particolarmente costoso e legittimo. Allo stesso modo, se l’immissione di un ordine mostra un numero di pezzi insolito, non è detto che ci sia stato un errore nell’inserimento: potrebbe essere semplicemente un ordine di grandi dimensioni e del tutto valido.

Nel Machine Learning esistono diverse tecniche per rilevare anomalie, dalla classificazione al clustering, dall’Explainable AI al Deep Learning. 

 

Ad1

Saper riconoscere per tempo le criticità di un sistema può aprire scenari quali la manutenzione predittiva, l’innovazione e il miglioramento del sistema. Naturalmente effettuare questo tipo di analisi porta notevoli benefici, sia dal punto di vista economico che dal punto di vista produttivo.

Un’altro approccio consiste nel verificare che i valori rilevati stiano all’interno di un range standard e segnalare qualora vi siano dei discostamenti troppo ampi dai valori normali. Pensiamo ad esempio alla gestione dell’energia. Se il consumo dovesse diventare improvvisamente più elevato rispetto al normale funzionamento, ecco che potrebbero verificarsi del blackout. Con l’anomaly detection è possibile intervenire prime che si superi la soglia critica.

Ad2

 

Nel caso del grafico in blu l’anomalia viene rilevata in tempo, prima di superare la soglia del blackout (tratteggio rosso). Nel caso della linea evidenziata in giallo l’anomalia non viene rievata e si verifica un blackout.

Altri casi d’uso molto comuni per l’Anomaly Detection sono:

 

Monitoraggio di condizioni mediche e cliniche

Utilizzato per tracciare parametri vitali come battito cardiaco, pressione sanguigna, livelli di glucosio o saturazione dell’ossigeno. Sistemi intelligenti possono rilevare variazioni anomale che indicano potenziali emergenze mediche (es. aritmie, ipoglicemia) e avvisare tempestivamente il personale sanitario o il paziente stesso.

 

Monitoraggio dell’utilizzo di risorse per prevenire picchi o cali

In ambito industriale o IT, il monitoraggio continuo del consumo  di CPU, memoria o larghezza di banda consente di individuare picchi anomali o cali improvvisi. Questi segnali possono indicare malfunzionamenti, sovraccarichi o inefficienze, permettendo interventi proattivi per evitare interruzioni o danni.

 

Monitoraggio degli accessi informatici per prevenire cyber attacchi

I sistemi di sicurezza informatica analizzano i log di accesso e le attività degli utenti per rilevare comportamenti anomali, come tentativi di accesso da località insolite, accessi fuori orario o escalation di privilegi. Questi segnali possono indicare un attacco in corso, come phishing, brute force o insider threat.

 

Pattern di movimento urbano

Sistemi intelligenti analizzano i flussi di traffico veicolare e pedonale nelle città per rilevare anomalie nei pattern di mobilità. Deviazioni inusuali possono indicare incidenti, eventi non pianificati, manifestazioni o situazioni di emergenza.

 

Monitoraggio della qualità dell’aria e inquinamento

Sensori distribuiti sul territorio rilevano variazioni anomale nei livelli di inquinanti atmosferici, particolato fine o gas tossici. Picchi improvvisi possono segnalare fughe industriali, incendi, malfunzionamenti di impianti o fenomeni meteorologici estremi, consentendo interventi tempestivi per proteggere la salute pubblica e identificare le fonti di contaminazione.

 

Comportamento degli utenti in piattaforme digitali

Algoritmi avanzati analizzano i pattern di interazione degli utenti su social media, e-commerce o applicazioni per individuare comportamenti anomali. Variazioni drastiche nell’attività, contenuti inappropriati generati automaticamente o interazioni sospette possono indicare account compromessi, bot malevoli o attività di spam coordinato.

 

Produzione agricola e allevamento

Sensori IoT monitorano parametri come umidità del suolo, temperatura, crescita delle colture o comportamento degli animali negli allevamenti. Anomalie possono rivelare malattie delle piante, stress degli animali, condizioni ambientali avverse o problemi negli impianti di irrigazione, permettendo interventi preventivi per salvaguardare la produzione e il benessere animale.

 

Insomma, un buon sistema di Anomaly Detection può rivelarsi fondamentale in molti casi, facendo risparmiare tempo, denaro e risorse.

Un elemento che nell’era dei big data non può essere trascurato.

 

Di Mattia Repetti, Data Scientist 

Andrea Bergonzi

Andrea Bergonzi

Chief Data Scientist in Dataskills dal 2020.
Con un background in Economia e Finanza e una solida esperienza nella guida di progetti di Data Science e Intelligenza Artificiale in diversi settori, mi occupo di Machine Learning e AI per aiutare le aziende a trasformare i dati in valore concreto.

Comments are closed.

Iscrivi alla newsletter



    Dichiaro di aver letto ed accetto l’informativa sulla privacy

    Andrea Bergonzi

    Andrea Bergonzi

    Chief Data Scientist in Dataskills dal 2020.
    Con un background in Economia e Finanza e una solida esperienza nella guida di progetti di Data Science e Intelligenza Artificiale in diversi settori, mi occupo di Machine Learning e AI per aiutare le aziende a trasformare i dati in valore concreto.