Num mundo em que a tecnologia determina cada vez mais as nossas decisões, o apelo à reflexão crítica é maior do que nunca. A confiança cega na tecnologia conduz a erros com consequências de grande alcance, escreve ele no seu livro The. Os gestores de TIC têm a chave para utilizar a tecnologia de forma eficaz e segura, mas só podem ser bem sucedidos se compreenderem como os dados, os sistemas e os processos se afectam mutuamente.

Um tema central em The Validation Crisis é a importância dos dados. Um bom exemplo é uma experiência de inteligência artificial (IA) em que um sistema de IA é alimentado com dados de decisões de contratação anteriores, o que pode reforçar preconceitos. Neste caso, o modelo foi treinado num conjunto de dados em que os homens eram contratados com mais frequência do que as mulheres. Quando a IA foi aplicada na prática, reproduziu este preconceito sem o conhecimento dos utilizadores. Como resultado, os homens foram contratados mais rapidamente do que as mulheres.

O problema? Os dados de entrada estavam corretos, mas o modelo foi construído sobre uma base de discriminação inconsciente. Este exemplo mostra que mesmo os sistemas mais sofisticados são propensos a erros se o contexto e a fase de formação não forem validados. Assim, a análise de dados e a IA não são mágicas: sem compreender como é que um modelo foi treinado e quais os pressupostos utilizados, a tecnologia limita-se a repetir os padrões existentes, incluindo os erros neles contidos.

O risco do otimismo tecnológico

Outra questão importante é o papel do tecno-otimismo nas organizações. Muitos gestores de TIC vêem a tecnologia como uma panaceia que resolve problemas, reduz custos e acelera processos. Embora a tecnologia possa, de facto, ser um poderoso catalisador, esta mentalidade conduz frequentemente a más avaliações e a implementações apressadas.

A mudança para soluções na nuvem é um exemplo notável. As organizações vêem a escalabilidade, os benefícios em termos de custos e a flexibilidade, mas esquecem-se frequentemente dos riscos: perda de controlo sobre os dados, dependência do fornecedor e questões de conformidade. Já aconteceu mesmo que um fornecedor de serviços de computação em nuvem tenha encerrado abruptamente os seus serviços, deixando as empresas em grandes apuros por não terem preparado cópias de segurança ou alternativas. Este tipo de risco é muitas vezes subestimado ou mesmo ignorado na procura de resultados rápidos.

A IA e a necessidade de validação

Para ilustrar melhor a crise de validação em que nos encontramos, realizei uma experiência. Para The Validation Crisis, um modelo de IA foi treinado com dados fictícios sobre uma sociedade intergaláctica na Lua, habitada por “gatos selenianos”. Esta narrativa, construída a partir de centenas de documentos fabricados - como estudos científicos, registos de tribunais e artigos noticiosos - descreve uma cultura lunar complexa centrada em tecnologias como os auscultadores telepáticos e a compressão do tempo. O modelo produziu consistentemente resultados que pareciam lógicos no contexto deste mundo fictício, mas que seriam totalmente absurdos no mundo real.

O objetivo da experiência é simples, mas poderoso: demonstrar como funciona a IA generativa e os riscos que surgem quando os modelos são alimentados com dados fabricados ou tendenciosos. A experiência mostra que os modelos de IA não conseguem ter um pensamento crítico autónomo e dependem completamente da qualidade e do contexto dos seus dados de treino. Afinal, as pessoas que vêem textos sobre gatos selénios concluem rapidamente que não fazem sentido, mas um modelo de IA não vê isso. E isto não se aplica apenas a cenários fictícios, mas também a aplicações do mundo real, como nos cuidados de saúde, nas finanças ou na aplicação da lei.

A conclusão é clara: “Lixo dentro, lixo fora”. A IA só é tão fiável como os dados e os processos de validação que lhe estão subjacentes. Sem transparência sobre a forma como os modelos são treinados e quais são as suas limitações, os sistemas de IA podem gerar resultados prejudiciais ou enganadores. A experiência realça a necessidade de validação contínua e avaliação crítica no desenvolvimento e implementação da IA.

A experiência de IA em The Validation Crisis também oferece lições mais amplas para a implementação da inteligência artificial nas organizações. A IA não é uma solução autónoma, mas uma ferramenta que depende da qualidade dos seus dados e do controlo dos seus utilizadores. A falta de validação dos modelos de IA pode conduzir a grandes riscos. Sem auditorias regulares e transparência, as organizações podem tomar decisões com base em dados inexactos ou distorcidos, afectando tudo, desde o recrutamento à gestão de riscos.

O fator humano na tecnologia

No entanto, a validação não tem apenas uma vertente técnica. Há também uma parte humana. Por exemplo, os gestores de TIC não devem ser apenas especialistas em tecnologia, mas também líderes que promovam uma cultura de pensamento crítico e colaboração. Ouvir, resumir e questionar são competências essenciais para quebrar pressupostos e expor riscos ocultos. Um bom exemplo que também menciono em The Validation Crisis é o fosso entre os administradores e o chão de fábrica em organizações como a Boeing. A falta de comunicação e de compreensão dos riscos operacionais e da relação entre a engenharia e as TIC desempenhou um papel importante nos acidentes fatais do 737 Max. Por isso, defendo que os gestores devem colmatar esta lacuna, mantendo-se ativamente envolvidos nos processos do dia a dia e investindo na formação e sensibilização das suas equipas.

##Do controlo à resiliência A validação não é apenas uma questão de evitar riscos, mas também de criar resiliência. Isto significa que as organizações concebem sistemas e processos para fazer face a erros e situações inesperadas. Pense-se no foguetão Ariane 5, que explodiu no seu primeiro lançamento devido a um erro de software que poderia facilmente ter sido evitado com uma melhor validação e redundância.

As organizações podem aplicar estas lições através da conceção de sistemas que sejam não só seguros e eficientes, mas também suficientemente flexíveis para responder a mudanças e incidentes. Para tal, é necessária uma combinação de conhecimentos técnicos e de visão estratégica, bem como uma cultura que incentive a aprendizagem com os erros.

#O papel da cultura e da liderança Uma mudança de cultura é, pois, essencial para ultrapassar a crise de validação. Por conseguinte, a transparência, a diversidade e o pensamento crítico devem estar no centro das organizações. Isto significa que os gestores não devem ter medo de fazer perguntas difíceis, mesmo que as respostas sejam conflituosas.

Também é necessária uma maior colaboração entre departamentos. Os gestores de TIC não devem ser apenas responsáveis pela tecnologia, mas também fazer a ponte entre a tecnologia, as operações e a regulamentação. Isto exige uma abordagem multidisciplinar que inclua factores técnicos e humanos.

#Da crise ao controlo A crise da validação é uma chamada de atenção para os gestores de TIC. A tecnologia só é eficaz se for implementada com um olhar atento aos dados, ao contexto e ao risco. Para tal, a validação não é um passo extra, mas o núcleo do sucesso num mundo digital. Para os gestores de TIC, isto significa:

  1. Compreender o funcionamento da tecnologia: Da IA à nuvem, certifique-se de que sabe o que se passa “debaixo do capot”. Compromisso de transparência: Criar sistemas e processos que sejam compreensíveis e auditáveis. Investir na cultura: Incentivar o pensamento crítico e a colaboração na sua equipa 3.

O futuro da tecnologia está nas nossas mãos. Cabe aos gestores das TIC moldá-lo com cuidado e responsabilidade, de modo a que a inovação traga não só eficiência, mas também segurança, justiça e controlo.

The Validation Crisis está disponível como livro eletrónico. Ver: validationcrisis.co.uk.

Este artigo(pdf) apareceu anteriormente no AG Connect.