En un mundo en el que la tecnología determina cada vez más nuestras decisiones, la llamada a la reflexión crítica es mayor que nunca. La confianza ciega en la tecnología conduce a errores con consecuencias de largo alcance, escribe en su libro El. Los gestores de las TIC tienen la clave para utilizar la tecnología de forma eficaz y segura, pero sólo podrán lograrlo si comprenden cómo los datos, los sistemas y los procesos se afectan mutuamente.
Un tema central de La crisis de la validación es la importancia de los datos. Un buen ejemplo es un experimento de inteligencia artificial (IA) en el que un sistema de IA se alimenta de datos de decisiones de contratación anteriores, lo que puede reforzar los sesgos. En este caso, el modelo se entrenó con un conjunto de datos en el que se contrataba más a hombres que a mujeres. Cuando la IA se puso en práctica, reprodujo este sesgo sin que los usuarios lo supieran. Como resultado, los hombres fueron contratados más rápidamente que las mujeres.
¿Cuál era el problema? Los datos de entrada eran correctos, pero el modelo se construyó sobre una base de discriminación inconsciente. Este ejemplo demuestra que incluso los sistemas más sofisticados son propensos a cometer errores si no se validan el contexto y la fase de entrenamiento. Así que el análisis de datos y la IA no son magia: sin entender cómo se entrenó un modelo y qué supuestos se hicieron, la tecnología se limita a repetir patrones existentes, incluidos los errores que llevan implícitos.
El riesgo del tecnooptimismo
Otra cuestión importante es el papel del tecnooptimismo dentro de las organizaciones. Muchos gestores de TIC ven la tecnología como una panacea que resuelve problemas, reduce costes y acelera procesos. Si bien es cierto que la tecnología puede ser un poderoso catalizador, esta mentalidad conduce a menudo a evaluaciones deficientes y a implantaciones precipitadas.
El paso a las soluciones en la nube es un ejemplo llamativo. Las organizaciones ven la escalabilidad, las ventajas económicas y la flexibilidad, pero a menudo olvidan los riesgos: pérdida de control sobre los datos, dependencia del proveedor y problemas de cumplimiento. Incluso se ha dado el caso de que un proveedor de servicios en la nube haya cerrado abruptamente sus servicios, dejando a las empresas en un gran aprieto por no haber preparado copias de seguridad o alternativas. Este tipo de riesgo suele subestimarse o incluso ignorarse en la búsqueda de resultados rápidos.
La IA y la necesidad de validación
Para ilustrar mejor la crisis de validación en la que nos encontramos, realicé un experimento. Para La crisis de validación, se entrenó un modelo de IA con datos ficticios sobre una sociedad intergaláctica en la Luna habitada por “gatos selenios”. Este relato, construido a partir de cientos de documentos inventados -como estudios científicos, actas judiciales y artículos periodísticos-, describe una compleja cultura lunar centrada en tecnologías como los auriculares telepáticos y la compresión temporal. El modelo produjo sistemáticamente resultados que parecían lógicos en el contexto de este mundo ficticio, pero que serían totalmente disparatados en el mundo real.
El propósito del experimento es simple pero contundente: demostrar cómo funciona la IA generativa y los riesgos que surgen cuando se alimenta a los modelos con datos fabricados o sesgados. El experimento demuestra que los modelos de IA no pueden pensar críticamente de forma autónoma y dependen por completo de la calidad y el contexto de sus datos de entrenamiento. Al fin y al cabo, la gente que ve textos sobre gatos selenios concluye rápidamente que son tonterías, pero un modelo de IA no lo ve así. Y esto no sólo se aplica a los escenarios ficticios, sino también a las aplicaciones del mundo real, como la sanidad, las finanzas o la aplicación de la ley.
La conclusión es clara: “Basura dentro, basura fuera”. La IA es tan fiable como los datos y los procesos de validación que la sustentan. Sin transparencia sobre cómo se entrenan los modelos y cuáles son sus limitaciones, los sistemas de IA pueden generar resultados perjudiciales o engañosos. El experimento subraya la necesidad de una validación continua y una evaluación crítica en el desarrollo y la aplicación de la IA.
El experimento de IA de La crisis de la validación también ofrece lecciones más amplias para implantar la inteligencia artificial en las organizaciones. La IA no es una solución autónoma, sino una herramienta que depende de la calidad de su input y del control de sus usuarios. La falta de validación en los modelos de IA puede acarrear riesgos importantes. Sin auditorías periódicas ni transparencia, las organizaciones pueden tomar decisiones basadas en datos inexactos o distorsionados, lo que afecta a todo, desde la contratación hasta la gestión de riesgos.
El factor humano en la tecnología
Sin embargo, la validación no sólo tiene una parte técnica. También hay una parte humana. Por ejemplo, los responsables de TIC no sólo deben ser expertos en tecnología, sino también líderes que fomenten una cultura de pensamiento crítico y colaboración. Escuchar, resumir y preguntar son habilidades esenciales para romper suposiciones y sacar a la luz riesgos ocultos. Un buen ejemplo que también menciono en La crisis de la validación es la brecha existente entre los administradores y la planta de producción en organizaciones como Boeing. La falta de comunicación y comprensión de los riesgos operativos y la relación entre ingeniería y TIC desempeñaron un papel fundamental en los accidentes mortales del 737 Max. Por eso abogo por que los administradores cierren esta brecha participando activamente en los procesos cotidianos e invirtiendo en formación y concienciación dentro de sus equipos.
##Del control a la resiliencia La validación no sólo consiste en evitar riesgos, sino también en aumentar la resistencia. Esto significa que las organizaciones diseñan sistemas y procesos para hacer frente a errores y situaciones inesperadas. Pensemos en el cohete Ariane 5, que explotó en su primer lanzamiento debido a un error de software que podría haberse evitado fácilmente con una mejor validación y redundancia.
Las organizaciones pueden aplicar estas lecciones diseñando sistemas que no sólo sean seguros y eficientes, sino también lo bastante flexibles como para responder a cambios e incidentes. Esto requiere una combinación de conocimientos técnicos y visión estratégica, así como una cultura en la que se fomente el aprendizaje a partir de los errores.
#El papel de la cultura y el liderazgo Así pues, es esencial un cambio de cultura para superar la crisis de validación. Por ello, la transparencia, la diversidad y el pensamiento crítico deben estar en el centro de las organizaciones. Esto significa que los directivos no deben tener miedo de hacer preguntas difíciles, aunque las respuestas sean polémicas.
También es necesaria una mayor colaboración entre departamentos. Los gestores de TIC no sólo deben ser responsables de la tecnología, sino también tender puentes entre la tecnología, las operaciones y la normativa. Esto requiere un enfoque multidisciplinar que incluya tanto factores técnicos como humanos.
#De la crisis al control La crisis de la validación es una llamada de atención para los responsables de las TIC. La tecnología sólo es eficaz si se despliega teniendo muy en cuenta los datos, el contexto y el riesgo. Para ello, la validación no es un paso más, sino el núcleo del éxito en un mundo digital. Para los gestores de TIC, esto significa:
- Entender cómo funciona la tecnología: De la IA a la nube, asegúrate de saber qué ocurre “bajo el capó”. Comprométase con la transparencia: cree sistemas y procesos que sean comprensibles y auditables. Invierta en cultura: fomente el pensamiento crítico y la colaboración dentro de su equipo 3.
El futuro de la tecnología está en nuestras manos. Corresponde a los gestores de las TIC darle forma con cuidado y responsabilidad, para que la innovación aporte no sólo eficiencia, sino también seguridad, equidad y control.
The Validation Crisis está disponible como libro electrónico. Véase: validationcrisis.co.uk.
Este artículo(pdf) apareció anteriormente en AG Connect.