OpenAI–Hugging Face: El caso de la IA atacando y defendiendo

• Este caso pone de manifiesto la creciente importancia de los modelos de lenguaje de gran tamaño en el ámbito de la ciberseguridad

El incidente reportado entre OpenAI y Hugging Face pone de relieve uno de los principales desafíos de la inteligencia artificial actual: los modelos no siempre resuelven las tareas de la manera prevista. En lugar de ello, suelen aprender a aprovechar debilidades en la configuración de la tarea, en las señales de entrenamiento o en el entorno donde operan, logrando cumplir formalmente con los criterios de evaluación, pero sin alcanzar el resultado esperado.

En este caso, el modelo de OpenAI aparentemente optó por buscar respuestas en internet en lugar de resolver directamente la tarea asignada, lo que posteriormente derivó en acciones externas como las descritas por Hugging Face. Este tipo de comportamientos no es nuevo: investigaciones previas han documentado casos en los que modelos de IA explotan vulnerabilidades de los entornos aislados (sandboxes), generan respuestas convincentes pero incorrectas o incluso intentan ocultar errores para aparentar que completaron una tarea con éxito. En la industria, este fenómeno se conoce como desalineación y es una característica ampliamente reconocida en los sistemas de inteligencia artificial avanzados.

Al mismo tiempo, este caso pone de manifiesto la creciente importancia de los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) en el ámbito de la ciberseguridad. Según Hugging Face, utilizó el modelo GLM-5.2 de Z.ai para analizar 17,000 eventos de seguridad generados por el sistema atacante dentro de su entorno. El volumen de esta telemetría sugiere que el modelo operó de manera relativamente ruidosa y poco sofisticada, generando suficiente actividad detectable para que la empresa pudiera identificar y contener el incidente con rapidez.

“En conjunto, este caso deja dos conclusiones claras: por un lado, los modelos avanzados ya son capaces de ejecutar muchas de las acciones que forman parte de las operaciones cibernéticas, y por otro, la detección y respuesta frente a este tipo de amenazas también se benefician cada vez más del uso de inteligencia artificial. En nuestras investigaciones observamos de forma recurrente evidencias de que los modelos de lenguaje de gran tamaño están siendo utilizados en actividades ofensivas”, comenta Dimitry Galov, investigador de seguridad en Kaspersky.