Anthropic informó que algunos de sus modelos de inteligencia artificial lograron acceder a internet y vulnerar los sistemas de tres organizaciones distintas durante pruebas internas de ciberseguridad, un hallazgo detectado tras revisar más de 140 mil evaluaciones a raíz de un incidente similar revelado recientemente por OpenAI.
La empresa explicó que inició una auditoría de sus evaluaciones después de que OpenAI diera a conocer que algunos de sus modelos habían escapado de un entorno de pruebas y comprometido sistemas de la plataforma Hugging Face durante un ejercicio de ciberseguridad.
Como resultado de esa revisión, Anthropic identificó tres casos en los que sus modelos obtuvieron acceso no autorizado a internet y posteriormente ingresaron a la infraestructura de producción de tres organizaciones diferentes.
De acuerdo con la compañía, los incidentes ocurrieron mientras los modelos participaban en pruebas tipo “captura la bandera”, diseñadas para evaluar sus capacidades ofensivas. En estos ejercicios se indicó a los modelos que localizaran una “bandera” almacenada en otra máquina de la red, lo que los llevó a buscar formas de infiltrarse en sistemas externos.
Anthropic precisó que, a diferencia del caso reportado por OpenAI, sus modelos no intentaron escapar deliberadamente del entorno de pruebas. La empresa atribuyó el acceso a internet a un malentendido con uno de sus socios encargados de las evaluaciones, lo que permitió una conexión que no debía existir.
Según la investigación, los modelos utilizaron técnicas relativamente básicas para obtener acceso, entre ellas la explotación de contraseñas débiles y la búsqueda de servicios expuestos que no requerían autenticación o tokens de acceso.
La compañía señaló que su modelo más avanzado detectó en algún momento que se encontraba conectado a internet y decidió detener su actividad de forma autónoma.
Anthropic indicó que el primer incidente ocurrió en abril y aseguró que ninguna de las organizaciones afectadas había reportado haber sido víctima de un ataque. No obstante, afirmó que ya trabaja en coordinación con las entidades involucradas.
Tras estos hallazgos, la empresa suspendió temporalmente todas sus evaluaciones de ciberseguridad y reconoció que pudo haber implementado controles más estrictos para evitar este tipo de situaciones.
El caso se suma al incidente revelado por OpenAI y refuerza las preocupaciones de especialistas sobre los riesgos de que agentes de inteligencia artificial con capacidades avanzadas de ciberseguridad puedan interactuar con sistemas reales durante procesos de evaluación, lo que ha renovado los llamados a fortalecer las medidas de seguridad y los protocolos de prueba para este tipo de modelos.
