In un mondo in cui la tecnologia determina sempre più le nostre decisioni, l’invito alla riflessione critica è più che mai attuale. La fiducia cieca nella tecnologia porta a errori con conseguenze di vasta portata, scrive nel suo libro The. I responsabili ICT hanno la chiave per utilizzare la tecnologia in modo efficace e sicuro, ma possono riuscirci solo se comprendono come i dati, i sistemi e i processi si influenzano a vicenda.
Un tema centrale di The Validation Crisis è l’importanza dei dati. Un buon esempio è un esperimento di intelligenza artificiale (AI) in cui un sistema di AI viene alimentato con dati relativi a precedenti decisioni di assunzione, che possono rafforzare i pregiudizi. In questo caso, il modello è stato addestrato su un set di dati in cui gli uomini sono stati assunti più spesso delle donne. Quando l’intelligenza artificiale è stata impiegata nella pratica, ha riprodotto questo pregiudizio all’insaputa degli utenti. Di conseguenza, gli uomini sono stati assunti più rapidamente delle donne.
Il problema? I dati di input erano corretti, ma il modello era costruito su una base di discriminazione inconscia. Questo esempio dimostra che anche i sistemi più sofisticati sono soggetti a errori se il contesto e la fase di addestramento non vengono convalidati. L’analisi dei dati e l’IA non sono quindi magiche: senza capire come è stato addestrato un modello e quali ipotesi sono state fatte, la tecnologia si limita a ripetere i modelli esistenti, compresi gli errori in essi incorporati.
Il rischio del tecno-ottimismo
Un’altra questione importante è il ruolo del tecno-ottimismo all’interno delle organizzazioni. Molti manager ICT vedono la tecnologia come una panacea che risolve i problemi, riduce i costi e velocizza i processi. Sebbene la tecnologia possa effettivamente essere un potente catalizzatore, questa mentalità porta spesso a valutazioni sbagliate e a implementazioni affrettate.
Il passaggio alle soluzioni cloud ne è un esempio lampante. Le organizzazioni vedono scalabilità, vantaggi economici e flessibilità, ma spesso dimenticano i rischi: perdita di controllo sui dati, vendor lock-in e problemi di conformità. È persino capitato che un fornitore di cloud chiudesse improvvisamente i suoi servizi, lasciando le aziende in grosse difficoltà perché non avevano preparato backup o alternative. Questo tipo di rischio viene spesso sottovalutato o addirittura ignorato nella ricerca di risultati rapidi.
L’IA e la necessità di convalida
Per illustrare ulteriormente la crisi di validazione in cui ci troviamo, ho condotto un esperimento. Per The Validation Crisis, un modello AI è stato addestrato con dati fittizi su una società intergalattica sulla luna abitata da “gatti seleniani”. Questa narrazione, costruita a partire da centinaia di documenti inventati - come studi scientifici, atti giudiziari e articoli di cronaca - descrive una complessa cultura lunare incentrata su tecnologie come le cuffie telepatiche e la compressione del tempo. Il modello ha prodotto costantemente risultati che sembravano logici nel contesto di questo mondo fittizio, ma che sarebbero stati totalmente insensati nel mondo reale.
Lo scopo dell’esperimento è semplice ma potente: dimostrare come funziona l’IA generativa e i rischi che si corrono quando i modelli vengono alimentati con dati falsificati o distorti. L’esperimento dimostra che i modelli di IA non sono in grado di pensare in modo critico e autonomo e dipendono completamente dalla qualità e dal contesto dei dati di addestramento. Dopo tutto, le persone che vedono testi sui gatti seleniani concludono rapidamente che si tratta di sciocchezze, ma un modello di IA non se ne accorge. E questo vale non solo per gli scenari di fantasia, ma anche per le applicazioni del mondo reale, come la sanità, la finanza o le forze dell’ordine.
La conclusione è chiara: “Garbage in, garbage out”. L’IA è affidabile quanto i dati e i processi di convalida che ne sono alla base. Senza trasparenza sulle modalità di addestramento dei modelli e sui loro limiti, i sistemi di IA possono generare risultati dannosi o fuorvianti. L’esperimento evidenzia la necessità di una validazione continua e di una valutazione critica nello sviluppo e nell’implementazione dell’IA.
L’esperimento di intelligenza artificiale in The Validation Crisis offre anche lezioni più ampie per l’implementazione dell’intelligenza artificiale nelle organizzazioni. L’IA non è una soluzione autonoma, ma uno strumento che dipende dalla qualità dei suoi input e dal controllo dei suoi utenti. La mancanza di convalida nei modelli di IA può comportare gravi rischi. Senza controlli regolari e senza trasparenza, le organizzazioni possono prendere decisioni basate su dati imprecisi o distorti, con ripercussioni su tutto, dalle assunzioni alla gestione del rischio.
Il fattore umano nella tecnologia
Tuttavia, la convalida non ha solo un aspetto tecnico. C’è anche una parte umana. Ad esempio, i manager ICT non devono essere solo esperti di tecnologia, ma anche leader che promuovono una cultura del pensiero critico e della collaborazione. L’ascolto, la sintesi e le domande sono abilità essenziali per rompere le ipotesi ed esporre i rischi nascosti. Un buon esempio, che ho citato anche in The Validation Crisis, è il divario tra gli amministratori e i lavoratori in organizzazioni come Boeing. La mancanza di comunicazione e di comprensione dei rischi operativi e del rapporto tra ingegneria e ICT ha giocato un ruolo fondamentale negli incidenti mortali del 737 Max. Pertanto, sostengo che i manager debbano colmare questo divario rimanendo attivamente coinvolti nei processi quotidiani e investendo nella formazione e nella sensibilizzazione dei loro team.
##Dal controllo alla resilienza La convalida non serve solo a evitare i rischi, ma anche a costruire la resilienza. Ciò significa che le organizzazioni progettano sistemi e processi per far fronte a errori e situazioni impreviste. Si pensi al razzo Ariane 5, che è esploso al primo lancio a causa di un errore del software che avrebbe potuto essere facilmente evitato con una migliore convalida e ridondanza.
Le organizzazioni possono applicare questi insegnamenti progettando sistemi non solo sicuri ed efficienti, ma anche sufficientemente flessibili per rispondere a cambiamenti e incidenti. Ciò richiede una combinazione di competenze tecniche e intuizioni strategiche, nonché una cultura che incoraggi l’apprendimento dagli errori.
#Il ruolo della cultura e della leadership Un cambiamento culturale è quindi essenziale per superare la crisi di validazione. Pertanto, la trasparenza, la diversità e il pensiero critico dovrebbero essere al centro delle organizzazioni. Ciò significa che i manager non devono avere paura di porre domande difficili, anche se le risposte sono conflittuali.
È inoltre necessaria una maggiore collaborazione tra i vari dipartimenti. I manager ICT non devono essere responsabili solo della tecnologia, ma devono anche colmare il divario tra tecnologia, operazioni e normative. Ciò richiede un approccio multidisciplinare che comprenda sia i fattori tecnici che quelli umani.
#Dalla crisi al controllo La crisi della convalida è un campanello d’allarme per i manager ICT. La tecnologia è efficace solo se viene utilizzata con un occhio attento ai dati, al contesto e ai rischi. A tal fine, la convalida non è un passo in più, ma il fulcro del successo in un mondo digitale. Per i manager ICT, questo significa:
- Capire come funziona la tecnologia: Dall’intelligenza artificiale al cloud, assicuratevi di sapere cosa succede “sotto il cofano”. Impegnarsi per la trasparenza: costruire sistemi e processi comprensibili e verificabili. Investite nella cultura: incoraggiate il pensiero critico e la collaborazione all’interno del vostro team.
Il futuro della tecnologia è nelle nostre mani. Spetta ai manager ICT plasmarlo con cura e responsabilità, in modo che l’innovazione porti non solo efficienza, ma anche sicurezza, equità e controllo.
The Validation Crisis è disponibile come e-book. Vedere: validationcrisis.co.uk.
Questo articolo(pdf) è apparso in precedenza su AG Connect.