Un estudio advierte sobre el peligro de manipulación de chatbots de IA para acceder a datos personales
Investigadores del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de Valencia (UPV) y del King’s College London han evidenciado en un estudio los peligros asociados a los chatbots generados con modelos de lenguaje de gran escala (LLMs) e inteligencia artificial generativa, como ChatGPT, Bard, Llama o Bing Chat. La facilidad con la que se pueden utilizar estos modelos para crear chatbots maliciosos tiene como objetivo manipular a las personas para que revelen información personal.
El estudio ha sido desarrollado por José Such, catedrático de la UPV y miembro de VRAIN, junto con el colaborador de VRAIN de la UPV, Juan Carlos Carillo, y los doctores Xiao Zhan y William Seymour del King’s College London, según informa la institución académica valenciana.
A través de un ensayo aleatorio y controlado con 502 participantes, el estudio destaca que las IAs conversacionales usadas de manera maliciosa tienden a extraer más información personal comparadas con aquellas de uso benigno. Esto es posible gracias a la explotación de LLMs, que permite manipular a las personas con poca necesidad de conocimientos técnicos avanzados.
El trabajo, titulado ‘Una IA conversacional basada en modelos de lenguaje maliciosos hace que los usuarios revelen información personal’, será presentado en el 34 Simposio de Seguridad Usenix (Usenix Security Symposium), que se llevará a cabo del 13 al 15 de agosto en Seattle, EE. UU. En dicho documento se resaltan las amenazas a la privacidad derivadas de estos chatbots maliciosos basados en LLMs y se ofrecen recomendaciones para futuras investigaciones y prácticas.
José Such, investigador principal de VRAIN, explica que el estudio ha demostrado cómo se puede intervenir entre la interfaz del chatbot y el LLM subyacente, utilizando sus capacidades de forma maliciosa. Se ha evidenciado que con determinadas estrategias, un LLM puede engañar y manipular al usuario para que revele información sensible sin que este último se percate de ello.
Such aclara que la construcción de un chatbot malicioso a partir de un LLM no se debe a que la IA decida por sí misma actuar de esta manera, sino que es el ser humano quien le indica comportarse de forma perjudicial. Por ejemplo, si se le dice al chatbot que actué como un detective privado, puede llegar a indagar sobre datos personales sin levantar sospechas del usuario.
Otro aspecto relevante del estudio es que se requiere de muy pocos conocimientos técnicos para lograr que un modelo actúe maliciosamente; no es necesario saber programación ni ser un especialista. Simplemente, se trata de dar instrucciones verbales adecuadas al LLM.
Such también destacó que, aunque los investigadores aseguraron la anonimización de los datos y controlaron todo el proceso internamente en la universidad, la facilidad con la que se logra que un LLM actúe de manera maliciosa y la disposición con la que los usuarios revelan información sensible, representa un importante riesgo evaluativo.
Este proyecto se desarrolla como parte de ‘SPRINT: Seguridad y Privacidad en Sistemas con Inteligencia Artificial’, dentro del convenio entre Incibe y la Universitat Politècnica de Valencia, enmarcado en los Proyectos Estratégicos en España y respaldado por el Plan de Recuperación, Transformación y Resiliencia, financiado por fondos Next Generation-EU.
