Dans un monde où la technologie détermine de plus en plus nos décisions, l’appel à la réflexion critique est plus important que jamais. La confiance aveugle dans la technologie conduit à des erreurs lourdes de conséquences, écrit-il dans son livre La. Les responsables des TIC détiennent la clé d’une utilisation efficace et sûre de la technologie, mais ils ne peuvent réussir que s’ils comprennent comment les données, les systèmes et les processus s’influencent mutuellement.

L’importance des données est un thème central de La crise de la validation. Un bon exemple est une expérience d’intelligence artificielle (IA) dans laquelle un système d’IA est alimenté par des données provenant de décisions d’embauche antérieures, ce qui peut renforcer les préjugés. Dans ce cas, le modèle a été formé sur un ensemble de données dans lequel les hommes étaient plus souvent embauchés que les femmes. Lorsque l’IA a été déployée dans la pratique, elle a reproduit ce biais à l’insu des utilisateurs. En conséquence, les hommes ont été embauchés plus rapidement que les femmes.

Le problème ? Les données d’entrée étaient correctes, mais le modèle était construit sur la base d’une discrimination inconsciente. Cet exemple montre que même les systèmes les plus sophistiqués sont sujets à des erreurs si le contexte et la phase de formation ne sont pas validés. L’analyse des données et l’IA ne sont donc pas magiques : si l’on ne comprend pas comment un modèle a été formé et quelles hypothèses ont été formulées, la technologie se limite à répéter les schémas existants, y compris les erreurs qu’ils contiennent.

Le risque de techno-optimisme

Une autre question importante est le rôle de l’optimisme technologique au sein des organisations. De nombreux responsables des TIC considèrent la technologie comme une panacée qui résout les problèmes, réduit les coûts et accélère les processus. Si la technologie peut effectivement être un puissant catalyseur, cet état d’esprit conduit souvent à de mauvaises évaluations et à des mises en œuvre précipitées.

Le passage aux solutions en nuage en est un exemple frappant. Les organisations y voient des avantages en termes d’évolutivité, de coûts et de flexibilité, mais oublient souvent les risques : perte de contrôle sur les données, verrouillage des fournisseurs et problèmes de conformité. Il est même arrivé qu’un fournisseur de solutions en nuage ferme brusquement ses services, laissant les entreprises en grande difficulté parce qu’elles n’avaient pas préparé de sauvegardes ou d’alternatives. Ce type de risque est souvent sous-estimé, voire ignoré, dans la course aux résultats rapides.

L’IA et le besoin de validation

Pour mieux illustrer la crise de validation dans laquelle nous nous trouvons, j’ai mené une expérience. Pour la crise de validation, un modèle d’IA a été entraîné avec des données fictives concernant une société intergalactique sur la lune, habitée par des “chats séléniens”. Ce récit, construit à partir de centaines de documents fabriqués, tels que des études scientifiques, des dossiers judiciaires et des articles de presse, décrit une culture lunaire complexe centrée sur des technologies telles que les casques télépathiques et la compression du temps. Le modèle produit systématiquement des résultats qui semblent logiques dans le contexte de ce monde fictif, mais qui seraient totalement absurdes dans le monde réel.

L’objectif de l’expérience est simple mais puissant : démontrer le fonctionnement de l’IA générative et les risques qui surviennent lorsque les modèles sont alimentés avec des données fabriquées ou biaisées. L’expérience montre que les modèles d’IA ne peuvent pas faire preuve d’esprit critique de manière autonome et qu’ils dépendent entièrement de la qualité et du contexte de leurs données d’apprentissage. Après tout, les gens qui voient des textes sur les chats séléniens concluent rapidement qu’ils sont absurdes, mais un modèle d’IA ne le voit pas. Et cela ne s’applique pas seulement aux scénarios fictifs, mais aussi aux applications du monde réel, telles que les soins de santé, la finance ou l’application de la loi.

La conclusion est évidente : “Garbage in, garbage out”. La fiabilité de l’IA dépend des données et des processus de validation qui la sous-tendent. Sans transparence sur la manière dont les modèles sont formés et sur leurs limites, les systèmes d’IA peuvent générer des résultats nuisibles ou trompeurs. L’expérience met en évidence la nécessité d’une validation continue et d’une évaluation critique dans le développement et la mise en œuvre de l’IA.

L’expérience de l’IA dans La crise de la validation offre également des enseignements plus généraux pour la mise en œuvre de l’intelligence artificielle dans les organisations. L’IA n’est pas une solution autonome, mais un outil qui dépend de la qualité de ses données et du contrôle de ses utilisateurs. Un manque de validation des modèles d’IA peut entraîner des risques majeurs. En l’absence d’audits réguliers et de transparence, les organisations peuvent prendre des décisions fondées sur des données inexactes ou déformées, ce qui a des répercussions sur tous les domaines, du recrutement à la gestion des risques.

Le facteur humain dans la technologie

Cependant, la validation n’a pas qu’un aspect technique. Il y a aussi un aspect humain. Par exemple, les gestionnaires des TIC ne doivent pas seulement être des experts en technologie, mais aussi des leaders qui favorisent une culture de la pensée critique et de la collaboration. L’écoute, la synthèse et le questionnement sont des compétences essentielles pour briser les hypothèses et exposer les risques cachés. Un bon exemple que je mentionne également dans La crise de la validation est le fossé entre les administrateurs et l’atelier dans des organisations comme Boeing. Le manque de communication et de compréhension des risques opérationnels et de la relation entre l’ingénierie et les TIC a joué un rôle majeur dans les accidents mortels du 737 Max. Je préconise donc que les managers comblent ce fossé en restant activement impliqués dans les processus quotidiens et en investissant dans la formation et la sensibilisation de leurs équipes.

##Du contrôle à la résilience La validation ne consiste pas seulement à éviter les risques, mais aussi à renforcer la résilience. Cela signifie que les organisations conçoivent des systèmes et des processus pour faire face aux erreurs et aux situations inattendues. Pensez à la fusée Ariane 5, qui a explosé lors de son premier lancement en raison d’une erreur logicielle qui aurait pu être facilement évitée grâce à une meilleure validation et à la redondance.

Les organisations peuvent appliquer ces leçons en concevant des systèmes qui sont non seulement sûrs et efficaces, mais aussi suffisamment souples pour répondre aux changements et aux incidents. Cela nécessite une combinaison d’expertise technique et de vision stratégique, ainsi qu’une culture encourageant l’apprentissage à partir des erreurs.

#Le rôle de la culture et du leadership Un changement de culture est donc essentiel pour surmonter la crise de la validation. C’est pourquoi la transparence, la diversité et la pensée critique doivent être au cœur des organisations. Cela signifie que les dirigeants ne doivent pas avoir peur de poser des questions difficiles, même si les réponses sont conflictuelles.

Il faut également renforcer la collaboration entre les départements. Les gestionnaires des TIC ne doivent pas seulement être responsables de la technologie, mais aussi combler le fossé entre la technologie, les opérations et les réglementations. Cela nécessite une approche multidisciplinaire qui inclut à la fois les facteurs techniques et humains.

#De la crise à la maîtrise La crise de la validation est un signal d’alarme pour les responsables des TIC. La technologie n’est efficace que si elle est déployée en tenant compte des données, du contexte et des risques. À cette fin, la validation n’est pas une étape supplémentaire, mais le cœur du succès dans un monde numérique. Pour les gestionnaires des TIC, cela signifie

  1. comprendre le fonctionnement de la technologie : De l’IA à l’informatique dématérialisée, assurez-vous de savoir ce qui se passe “sous le capot”. S’engager à la transparence : construire des systèmes et des processus compréhensibles et vérifiables. Investir dans la culture : encourager la pensée critique et la collaboration au sein de votre équipe 3.

L’avenir de la technologie est entre nos mains. Il appartient aux gestionnaires des TIC de le façonner avec soin et responsabilité, afin que l’innovation apporte non seulement l’efficacité, mais aussi la sécurité, l’équité et le contrôle.

La crise de la validation est disponible sous forme de livre électronique. Voir : validationcrisis.co.uk.

Le présent article(pdf) est apparu précédemment sur AG Connect.