In een wereld waarin technologie steeds meer onze beslissingen bepaalt, is de roep om kritische reflectie groter dan ooit. Blind vertrouwen in technologie leidt tot fouten met verstrekkende gevolgen, zo schrijft hij in zijn boek De. ICT-managers hebben de sleutel in handen om technologie effectief en veilig te benutten, maar dit lukt alleen als zij begrijpen hoe data, systemen en processen elkaar beïnvloeden.

Een centraal thema in De Validatiecrisis is het belang van data. Een mooi voorbeeld is een experiment met kunstmatige intelligentie (AI), waarbij een AI-systeem wordt gevoed met data van eerdere wervingsbeslissingen, wat vooroordelen kan versterken. In dit geval was het model getraind op een dataset waarin mannen vaker werden aangenomen dan vrouwen. Toen de AI in de praktijk werd ingezet, reproduceerde het deze bias zonder dat de gebruikers hiervan op de hoogte waren. Met als gevolg dat mannen sneller werden aangenomen dan vrouwen.

Het probleem? De invoerdata was correct, maar het model was gebouwd op een fundament van onbewuste discriminatie. Dit voorbeeld laat zien dat zelfs de meest geavanceerde systemen vatbaar zijn voor fouten als de context en trainingsfase niet worden gevalideerd. Data-analyse en AI zijn dus geen magie: zonder inzicht in hoe een model is getraind en welke aannames zijn gemaakt, blijft de technologie beperkt tot het herhalen van bestaande patronen, inclusief de fouten die daarin besloten liggen.

Het risico van techno-optimisme

Een ander belangrijk punt is de rol van techno-optimisme binnen organisaties. Veel ICT-managers zien technologie als een wondermiddel dat problemen oplost, kosten verlaagt en processen versnelt. Hoewel technologie inderdaad een krachtige katalysator kan zijn, leidt deze mindset vaak tot gebrekkige evaluaties en overhaaste implementaties.

De overstap naar cloudoplossingen is een treffend voorbeeld. Organisaties zien schaalbaarheid, kostenvoordelen en flexibiliteit, maar vergeten vaak de risico’s: verlies van controle over data, vendor lock-in en compliance-problemen. Het is zelfs voorgekomen dat een cloudprovider abrupt zijn diensten stopzette, waardoor bedrijven in grote problemen kwamen omdat ze geen back-ups of alternatieven hadden voorbereid. Dit type risico wordt vaak onderschat of zelfs genegeerd in de drang naar snelle resultaten.

AI en de noodzaak van validatie

Om de validatiecrisis waar we inzitten nader te illustreren, heb ik een experiment uitgevoerd. Voor De Validatiecrisis is een AI-model getraind met fictieve data over een intergalactische samenleving op de maan, bewoond door ‘Selenische katten’. Dit narratief, opgebouwd uit honderden verzonnen documenten - zoals wetenschappelijke studies, rechtbankverslagen en nieuwsartikelen - beschrijft een complexe maancultuur waarin technologie, zoals telepathische headsets en tijdcompressie, centraal staat. Het model produceerde consistent output die logisch binnen de context van deze fictieve wereld leek, maar die totaal onzinnig zou zijn in de echte wereld.

Het doel van het experiment is simpel maar krachtig: aantonen hoe generatieve AI werkt en welke risico’s ontstaan als modellen worden gevoed met verzonnen of bevooroordeelde data. Het experiment laat zien dat AI-modellen niet autonoom kritisch kunnen denken en volledig afhankelijk zijn van de kwaliteit en context van hun trainingsdata. Mensen die teksten over Selenische katten zien, concluderen immers al snel dat het om onzin gaat, maar een AI-model ziet dit niet. En dit geldt niet alleen voor fictieve scenario’s, maar ook voor toepassingen in de echte wereld, zoals in de gezondheidszorg, financiën of wetshandhaving.

De conclusie is duidelijk: “Garbage in, garbage out.” AI is zo betrouwbaar als de data en validatieprocessen die eraan ten grondslag liggen. Zonder transparantie over hoe modellen zijn getraind en wat hun beperkingen zijn, kunnen AI-systemen schadelijke of misleidende output genereren. Het experiment benadrukt de noodzaak van voortdurende validatie en kritische evaluatie bij de ontwikkeling en implementatie van AI.

Het AI-experiment in De Validatiecrisis biedt ook bredere lessen voor de implementatie van kunstmatige intelligentie in organisaties. AI is geen autonome oplossing, maar een hulpmiddel dat afhankelijk is van de kwaliteit van zijn input en de controle van zijn gebruikers. Een gebrek aan validatie bij AI-modellen kan leiden tot grote risico’s. Zonder regelmatige audits en transparantie kunnen organisaties beslissingen nemen die gebaseerd zijn op onjuiste of vertekende data, wat gevolgen heeft voor alles, van werving tot risicomanagement.

De menselijke factor in technologie

Validatie heeft echter niet alleen een technische kant. Er is ook een menselijk aandeel. Zo moeten ICT-managers niet alleen experts in technologie zijn, maar ook leiders die een cultuur van kritisch denken en samenwerking stimuleren. Luisteren samenvatten en doorvragen zijnessentiële vaardigheden om aannames te doorbreken en verborgen risico’s bloot te leggen. Een goed voorbeeld dat ik ook in De Validatiecrisis benoem, is de kloof tussen bestuurders en de werkvloer in organisaties zoals Boeing. Het gebrek aan communicatie en begrip van operationele risico’s en de relatie tussen techniek en ICT speelde een grote rol in de fatale crashes van de 737 Max. Ik pleit er dan ook voor dat managers deze kloof dichten door actief betrokken te blijven bij de dagelijkse processen en te investeren in training en bewustwording binnen hun teams.

##Van controle naar veerkracht Validatie draait niet alleen om risico’s vermijden, maar ook om het bouwen van veerkracht. Dit betekent dat organisaties systemen en processen zo ontwerpen dat ze kunnen omgaan met fouten en onverwachte situaties. Denk aan de Ariane 5-raket, die bij zijn eerste lancering explodeerde door een softwarefout die eenvoudig had kunnen worden voorkomen met betere validatie en redundantie.

Organisaties kunnen deze lessen toepassen door systemen te ontwerpen die niet alleen veilig en efficiënt zijn, maar ook flexibel genoeg zijn om te reageren op veranderingen en incidenten. Dit vereist een combinatie van technische expertise en strategisch inzicht, evenals een cultuur waarin leren van fouten wordt aangemoedigd.

#De rol van cultuur en leiderschap Een cultuurverandering is dus essentieel om de validatiecrisis te overwinnen. Daarom moeten transparantie, diversiteit en kritisch denken centraal staan in organisaties. Dit betekent dat managers niet bang mogen zijn om moeilijke vragen te stellen, zelfs als de antwoorden confronterend zijn.

Daarnaast moet er meer samenwerking tussen afdelingen ontstaan. ICT-managers moeten niet alleen verantwoordelijk zijn voor technologie, maar ook een brug slaan tussen techniek, bedrijfsvoering en regelgeving. Dit vraagt om een multidisciplinaire aanpak waarin zowel technische als menselijke factoren worden meegenomen.

#Van crisis naar controle De Validatiecrisis is een wake-up call voor ICT-managers. Technologie is alleen effectief als het wordt ingezet met een scherp oog voor data, context en risico’s. Validatie is daarbij geen extra stap, maar de kern van succes in een digitale wereld. Voor ICT-managers betekent dit:

  1. Begrijpen hoe technologie werkt: Van AI tot cloud, zorg dat je weet wat er “onder de motorkap gebeurt”.
  2. Inzetten op transparantie: Bouw systemen en processen die begrijpelijk en controleerbaar zijn.
  3. Investeren in cultuur: Stimuleer kritisch denken en samenwerking binnen je team.

De toekomst van technologie ligt in onze handen. Het is aan ICT-managers om deze met zorg en verantwoordelijkheid vorm te geven, zodat innovatie niet alleen efficiëntie brengt, maar ook veiligheid, eerlijkheid en controle.

De Validatiecrisis is als e-boek verkrijgbaar. Zie: validatiecrisis.nl.

Dit artikel(pdf) verscheen eerder op AG Connect.