Errori umani nei processi critici: perché l'AI non basta da sola

Nel mio lavoro giro tra piccole aziende dell’Emilia, spesso quando qualcosa si è già rotto. Quasi mai è un guasto spettacolare: più spesso è una casella spuntata in fretta, un riavvio fatto sull’apparato sbagliato, una mail di troppo aperta dopo pranzo. L’intelligenza artificiale ci aiuta, certo, ma chiude soltanto una parte delle porte da cui entra l’errore. Il resto dipende da come organizzi le persone, le procedure e i controlli. Funziona come quando metti un antifurto in casa: utile, ma se lasci la finestra socchiusa, prima o poi qualcuno passa.

L’AI riduce il rumore, ma non legge il contesto

Un algoritmo è bravissimo a riconoscere schemi. Se un server mostra un comportamento “strano”, l’AI lo nota prima di te. Ma il “perché” di quel comportamento richiede contesto: c’è un aggiornamento in corso? Una manutenzione programmata? Una prova in laboratorio collegata alla rete di produzione per sbaglio? Qui l’AI comincia a inciampare.

Capita spesso che l’algoritmo offra una spiegazione plausibile ma sbagliata. È come chiedere indicazioni a qualcuno che conosce tutte le strade sulla mappa ma non sa che oggi il centro è chiuso per la fiera. Non è cattiveria: è il limite di un sistema addestrato su probabilità, non su responsabilità.

Nei processi critici questo scarto tra plausibile e vero conta più del resto. Un falso allarme su un firewall può far perdere ore; un allarme mancato, invece, può aprire la porta a un attacco. Gli standard di sicurezza come ISO/IEC 27001 insistono proprio su questo: strumenti avanzati sì, ma dentro procedure chiare, con ruoli definiti e revisioni periodiche.

Dove l’errore umano si infiltra davvero

Vado sul pratico, perché è lì che di solito si scivola. Una volta, in un ufficio contabile, un collega ha riavviato il router “di test” credendo fosse quello giusto. Stessa marca, stesso colore, due etichette scolorite: in cinque minuti metà rete era giù. L’AI? Non poteva saperlo: non aveva il quadro fisico della stanza né le abitudini di chi lavorava lì.

Altro classico: la fretta nelle modifiche. Arriva un ticket, tu pensi “piccola variazione sul firewall e ho finito”. Poi, copia-incolla maldestro e apri una regola troppo ampia. Se va bene, te ne accorgi subito; se va male, lo scopri quando qualcuno bussa da fuori. Un buon sistema con AI può segnalare l’anomalia, ma la vera prevenzione sta nel progettare cambi controllati, con verifica a quattro occhi e piani di rollback.

Su questi temi ho raccolto un’analisi su come l’AI possa anticipare le sviste più pericolose, utile per capire dove gli algoritmi vedono prima di noi e dove invece serve mettere paletti organizzativi.

C’è poi la parte più banale e più letale: le mail di phishing. L’AI dei filtri fa miracoli, ma la mail perfetta, magari cucita su un fornitore reale, ogni tanto passa. In quei casi, l’ultimo miglio è sempre umano: tu che riconosci il dettaglio stonato, o tu che clicchi. I framework del NIST lo dicono da anni: tecnologia e formazione devono viaggiare insieme, e il rischio si riduce, non sparisce.

Procedure e cultura contano quanto gli algoritmi

Pensa a una checklist in sala operatoria: non sostituisce l’esperienza del chirurgo, ma riduce i punti ciechi. Lo stesso vale in azienda: runbook per le attività ricorrenti, change management vero (non il “me lo segno sul post-it”), controllo incrociato tra colleghi, log leggibili e conservati. Non cose epiche, solo disciplina.

Un trucco che funziona è separare “pensiero” ed “esecuzione”. Prima progetti la modifica a freddo, la fai rivedere da un collega, la provi in un ambiente isolato; solo dopo esegui in produzione, in finestra programmata, con un timer alla mano. Sembra macchinoso, ma ti salva dai guai metà delle volte. E quando succede l’inevitabile, hai già il passo indietro pronto.

Qui l’AI è preziosa come specchio: segnala le deviazioni, suggerisce controlli, a volte propone soluzioni. Però la cornice la metti tu. Se non c’è cultura del “fermi tutti, controlliamo”, l’algoritmo diventa un oracolo che nessuno ascolta, o peggio, un alibi da tirare fuori quando si rompe qualcosa.

Ridondanza e limiti: progetta come se potessi sbagliare

Quando disegno una rete, parto dal presupposto che io stesso, un giorno, farò la mossa sbagliata. Perciò metto limiti e strade di fuga. È l’idea della cintura di sicurezza: speri di non provarla mai, ma se serve dev’essere lì, già allacciata.

Esempi concreti? “Default deny” sulle regole, segmentazione della rete come porte interne chiuse, privilegi minimi sugli account, controlli di coerenza automatici che bloccano modifiche anomale. Se proprio qualcosa scappa, almeno non corre lontano. E quando attivi servizi critici, prevedi un interruttore di emergenza: un modo chiaro per tornare allo stato noto senza panico.

Questo vale anche nella vita digitale quotidiana. Ridurre l’impatto dell’errore vuol dire, per esempio, attivare la verifica in due passaggi sui tuoi account: se per sbaglio riveli una password, il secondo fattore fa da rete di protezione. Non infallibile, ma immensamente meglio di niente.

Infine, accetta che i sistemi “parlino tra loro” solo il minimo indispensabile. Più integrazioni crei, più un errore si propaga. È come attaccare lampadine in serie: se ne salta una, rischi di spegnere il corridoio intero. Tieni i domini separati e usa passaggi controllati, con log che raccontino cosa è successo e quando.

Cosa fare domani mattina

Se vuoi un punto di partenza pratico, ecco una scaletta leggera che ho visto funzionare nelle piccole imprese:

• Scrivi le tre operazioni critiche che fai più spesso (backup, modifiche firewall, creazione utenti). Trasformale in checklist semplici.
• Stabilisci il principio dei quattro occhi per ogni cambio in produzione. Anche in due, con il collega all’altra scrivania, fa la differenza.
• Separa ambienti: test e produzione non devono “sfiorarsi”. Un cavo in meno oggi vale un disastro in meno domani.
• Usa l’AI dove dà vantaggio immediato: analisi log, rilevamento anomalie, suggerimenti di patch. Ma affiancala a revisioni umane settimanali.
• Definisci un piano di rollback scritto per ogni modifica importante. Se succede il patatrac, devi solo seguire i passi, non inventarli.
• Addestra il team con simulazioni brevi: un finto phishing al mese, un ripristino da backup ogni trimestre, una prova di emergenza rete a semestre.
• Verifica permessi e privilegi ogni tre mesi. Gli accessi “temporanei” amano diventare eterni.

Questa non è crociata contro l’AI. È, semmai, un invito a usarla per ciò che fa meglio: ridurre il rumore, dare segnali precoci, automatizzare i compiti ripetitivi. Ma quando in ballo c’è il pezzo critico del tuo lavoro, la catena deve includere la tua testa, la tua procedura e la tua capacità di dire “fermi, ricontrolliamo”. Gli errori restano umani; la differenza la fa quanto li rendi improbabili, visibili e non letali.