Los expertos creen que las máquinas podrán hackear sistemas

Se está infravalorando la protección de la seguridad en lo relacionado con IA

El año 2020 fue el más prolífico en ciberataques: la mayoría de las empresas españolas, concretamente un 53 %, notificaron haber sido víctimas de al menos un ataque en su sistema informático, según la quinta edición del Informe de ciberpreparación de Hiscox. Y, según los datos presentados por el Centro Nacional de Inteligencia (CNI) en las XIV Jornadas de Ciberseguridad del Centro Criptológico Nacional (CCN), no solo ha aumentado el número de ciberataques, sino también la gravedad de estos. Antes de que acabara el año, el CNI había detectado 6.690 incidentes de peligrosidad muy alta. Por su parte, el CCN encontró 73.184 ciberamenazas totales a lo largo del año, lo que significa un aumento del 70 % respecto al año anterior. ¿Qué pasará si, además de los piratas informáticos que ya existen, se suman robots hackers? ¿Es posible este escenario? Los expertos no lo descartan.

El miedo a la rebelión de las máquinas existe desde que comenzó la industrialización, pero se ha acrecentado con el nacimiento de la inteligencia artificial (IA). Advierten de ello gurús de la seguridad digital como Bruce Schneier, quien en su informe The Coming AI Hackers afirma que en la interacción entre los sistemas humanos e informáticos hay riesgos inherentes cuando los ordenadores comienzan a hacer el papel de las personas. Hasta el punto de que puede llegar el momento en que quienes pirateen nuestros sistemas sean hackers no humanos.

Las decisiones vitales, dictadas por los algoritmos

Otros expertos también ven posible ese escenario. Como explica Josep Curto, profesor de los Estudios de Informática, Multimedia y Telecomunicación de la UOC, hace unos años la matemática Cathy O’Neil advertía de que, en la época del algoritmo, muchas de las decisiones que afectan a nuestras vidas están dictadas por modelos matemáticos. Y, aunque eso podría conducir a una mayor equidad si todos fuéramos juzgados de acuerdo con las mismas reglas, está ocurriendo exactamente lo contrario. Hablaba de ello y del lado oscuro del big data en Weapons of Math Destruction, uno de los libros de no ficción con mejores críticas en su año de publicación, ganador del Euler Book Prize en 2019.

«No es la primera referencia, ni tampoco será la última, relativa a los potenciales peligros de esta tecnología», dice Curto explicando que la inteligencia artificial, que en su forma actual solo es machine learning, combinada con sistemas de gran capacidad de procesamiento y tratamiento de datos (big data) «busca automatizar tareas de toda índole, desde la asignación de un crédito hasta la selección de personal. Y el uso de algoritmos no está libre de errores, bugs, omisiones, propósitos específicos y sesgos de todo tipo. Esto puede provocar problemas sociales, económicos y políticos», afirma.

Pero ¿cómo pueden llegar a provocar esos problemas? Según Jordi Serra, también profesor de los Estudios de Informática, Multimedia y Telecomunicación, la manera de trabajar los algoritmos «va más allá de lo que una persona pueda pensar. Se pueden programar pensando que harán, por ejemplo, una clasificación concreta y al final que lo hagan de otra manera, aunque el resultado sí puede ser idéntico al que se había pensado». Afirma que el problema es que, mientras nosotros vemos datos y obtenemos esos datos de diferentes fuentes dándoles contexto, entendiéndolos y valorándolos, los sistemas de IA lo que hacen es buscar relaciones entre esos datos «más allá de lo que pueda significar cada dato. Y, al ser más rápidas, pueden encontrar relaciones entre los datos que los humanos no pensamos por tener ese conocimiento previo que nos hace pensar en que a lo mejor dos datos no están relacionados». Es decir, que mientras los humanos tenemos una manera de pensar predeterminada a partir de la experiencia y del conocimiento que tenemos previo, las máquinas no. «El control de las máquinas no se tiene», añade Serra.

Cómo evitar ataques

En la misma línea se manifiesta Josep Curto, que señala que los sistemas de IA siguen mecanismos para detectar patrones y encontrar soluciones óptimas o de mayor recompensa, y cuando se trata de sistemas poco robustos en su gobierno, estos pueden derivar en algunos casos en lo que se denomina reward hacking, que se traduce en que, con el objetivo de lograr la mayor recompensa en el problema que resuelven, no tienen en cuenta el contexto o la regulación, al no estar esos factores reflejados en los datos. Además, durante las diferentes fases del proyecto pueden existir sesgos en la generación, la preparación, el análisis de los datos o la visualización de los resultados que pueden conducir a decisiones no éticas.

«Identificar estos problemas pasa por analizar los modelos generados mediante interpretabilidad antes y durante su puesta a producción. Es decir, se trata de monitorizar el modelo, cómo toma decisiones, qué sesgos le afectan, cómo evoluciona su rendimiento… Se trata, en definitiva, de introducir el gobierno de IA«, añade Josep Curto.

Sin embargo, hay algunas dificultades para llevarlo a cabo. Por ejemplo, que la IA es, en opinión de Serra, cada vez más opaca, «ya que continuamente salen algoritmos más potentes, más rápidos, aunque al final solo son cajas en las que se introducen los datos y tienen una salida. ¿Cómo lo hacen? Solo los expertos que crean los algoritmos de pensar las IA lo saben», dice el profesor y miembro del grupo de investigación K-riptography and Information Security for Open Networks (KISON) de la UOC.

¿Estamos dando entonces demasiado poder a la tecnología basada en IA? ¿O quizá se está infravalorando la protección de la seguridad en lo relacionado con IA? Para el profesor Josep Curto el problema es este último punto. «Muchas organizaciones no tienen claro ni cómo funcionan los sistemas de IA ni cómo gobernarlos de forma adecuada ni tampoco el impacto social, por lo que no se toman en cuenta medidas de protección adecuadas en todo el ciclo del sistema», asegura. Por eso cree muy posible que, si no hay un cambio de actitud, sucedan cada vez más casos como los de Cambridge Analytica. «A medida que digitalizamos todos los procesos de negocio, muchas empresas van a apostar por IA para extraer valor de estos activos. Pero sin principios éticos, identificación de sesgos, comprensión de cómo funcionan los algoritmos, los límites de cómo funcionan… será natural caer en escenarios como los comentados, ya sea por omisión o con premeditación y alevosía», advierte Josep Curto.

Los expertos
	Jordi Serra Profesor de los Estudios de Informática, Multimedia y Telecomunicaciónde la UOC Josep Curto Profesor de los Estudios de Informática, Multimedia y Telecomunicaciónde la UOC

PDF o Imprime este artículo