En esta edición:
Esto no es un simulacro - Un modelo interno de OpenAI rompe el aislamiento y lanza ciberataques autónomos
Dirección estratégica - El respaldo de OpenAI a la legislación estatal de seguridad probablemente sea un intento de poner el techo donde debería estar el piso
La ciencia a su servicio - La Casa Blanca prefiere científicos impulsados por IA antes que la investigación universitaria
Despacho de Joe
Esto no es un simulacro
Un modelo interno de OpenAI rompe el aislamiento y lanza ciberataques autónomos
Crédito: Boxyray vía Adobe Stock
Ayer, menos de una hora después de que mi colega Robert escribiera sobre modelos de IA que rompen su aislamiento, OpenAI anunció un incidente de seguridad sin precedentes en el mundo. Un modelo de IA aún no lanzado rompió su entorno de pruebas, obtuvo acceso a internet, y robó y descifró datos de los servidores supuestamente seguros de otra empresa.
La IA hizo todo esto para hacer trampa en un examen.
Entonces, ¿qué fue lo que pasó exactamente, y por qué mereció la cobertura de casi todos los grandes medios de comunicación el día de hoy?
Con un punto de referencia llamado ExploitGym , OpenAI estaba evaluando un modelo interno de IA en su capacidad de convertir vulnerabilidades de código en “exploits” funcionales que permiten a un hacker ejecutar código no autorizado. La IA estaba encerrada en un entorno de pruebas aislado, pero aun así se escapó.
Y no se detuvo ahí; siguió rastreando la red de OpenAI hasta que encontró una conexión a internet, y desde ahí lanzó una serie de ataques autónomos contra el mayor repositorio de modelos de IA del mundo, Hugging Face. “Encadenó múltiples vectores de ataque, incluyendo el uso de credenciales robadas y vulnerabilidades de día cero” en un esfuerzo por acceder a los servidores de HuggingFace. Al parecer, buscaba leer la hoja de respuestas de ExploitGym y sacar la nota máxima en el examen.
Resultó ser exactamente el mismo ataque que cubrimos el lunes, el responsable de “muchos miles de acciones individuales a través de un enjambre de entornos aislados de corta duración.” OpenAI atribuyó los ataques a “una combinación de modelos de OpenAI, incluyendo GPT‑5.6 Sol y un modelo previo al lanzamiento aún más capaz.”
No muestran al público sus métodos de entrenamiento, así que es difícil saber con certeza a qué se refiere OpenAI con “combinación de modelos.” Podría ser que una IA muy poderosa delegó en “subagentes”, o que un hackeo exitoso inspiró a otras IA que se estaban evaluando al mismo tiempo a hacer lo mismo, o incluso que la misma secuencia de escape y hackeo ocurrió varias veces por separado .
Esta no es la primera vez que una IA rompe su aislamiento antes de ser lanzada. Después de una prueba exitosa de escape de un entorno aislado, Mythos, de Anthropic, presumió célebremente de su libertad en varios sitios web mientras el desarrollador que ejecutaba la prueba estaba en un descanso. Y un modelo chino llamado ROME al parecer escapó durante su entrenamiento y comenzó a minar criptomonedas.
Lo que sí es, es el incidente más grave hasta la fecha. Cometidos por una persona, estos ciberataques podrían constituir un delito federal (posiblemente incluso un delito grave) y merecer hasta cinco años de prisión.
Es bueno que OpenAI haya revelado el incidente. Legalmente, podrían haber estado en su derecho de ocultarlo. Mackenzie Arnold, Director de Política de Estados Unidos en el Institute for Law & AI, observó que las normas de transparencia vigentes a nivel estatal ponen un listón extremadamente alto para reportar incidentes, y una fuga autónoma con robo de datos no califica. (No está claro cómo se relaciona esto con la naturaleza potencialmente criminal del hackeo en sí; las IA ocupan una zona gris legal.)
En su comunicado, OpenAI dice que esta fuga ocurrió porque sus salvaguardas habituales contra el hackeo habían sido desactivadas para la prueba. Incluso si les creo, y asumo que las salvaguardas podrían haber interceptado esto antes, no me siento tranquilo. Le pusieron un examen difícil a un modelo de IA, y este optimizó despiadadamente para tener éxito hasta el punto de una actividad abiertamente criminal.
Creo que el mundo se salvó por poco con este disparo de advertencia en particular. Si la IA hubiera puesto tanto empeño en otro examen, fácilmente podría haber sido mucho peor. Por ejemplo, ABC-Bench evalúa la capacidad de un modelo de colar secuencias de ADN potencialmente peligrosas a través de los controles de detección y de instruir a un robot para ensamblarlas en genes reales. No me sorprendería que una prueba así, ejecutada con las salvaguardas desactivadas e instrucciones malinterpretadas apenas un poco, pudiera resultar en que, digamos, la viruela apareciera en un laboratorio desprevenido.
Ayer Robert contó cómo un modelo de OpenAI (probablemente el mismo) rompió su aislamiento y burló la seguridad para publicar resultados públicamente en GitHub. Y otro punto de referencia de biología, ABLE , evalúa la capacidad de un modelo de rediseñar proteínas virales. Si una IA ejecutando ABLE decidiera lucirse, como hizo Mythos, y publicara en internet un esquema novedoso para potenciar un virus, ese error no tendría vuelta atrás.
¿Y si, en lugar de un punto de referencia de ciberseguridad, la prueba que estaban ejecutando hubiera sido algo como RepliBench , que le indica a la IA establecer una presencia autosuficiente en internet abierto? ¿Y si hubiera decidido ir un paso más allá, y esconderse donde los revisores no pudieran encontrarla? ¿Y si la prueba hubiera sido militar ?
No creo que las IA actuales sean lo bastante competentes como para hacer que un incidente así sea verdaderamente catastrófico , pero cada día que pasa tengo menos confianza en esa creencia. Como demuestran este y otros incidentes previos, no basta con que las empresas de IA hagan algunas pruebas antes de lanzar sus modelos más poderosos. Cada vez más, las amenazas más peligrosas podrían venir de las IA que se entrenan, se prueban y se despliegan dentro de los laboratorios de IA.
Despachos de Alana
Dirección estratégica
El respaldo de OpenAI a la legislación estatal de seguridad probablemente sea un intento de poner el techo donde debería estar el piso
Crédito: Daniel Petschniker vía Pexels
¿Qué logra la regulación de la IA a nivel estatal, cómo funciona, y por qué podrían apoyarla las empresas de IA?
Un artículo reciente de Politico cubre el respaldo de OpenAI a un proyecto de ley de seguridad en Massachusetts que exigiría a las empresas de IA “publicar marcos de seguridad y evaluaciones de riesgo catastrófico.” OpenAI de hecho está intentando fortalecer este proyecto, animando al estado a añadir un requisito de auditoría por terceros. Pero incluso con esa adición, el proyecto seguiría siendo más débil que el que respalda Anthropic, el cual “exigiría a las principales empresas de IA someterse a evaluaciones de seguridad independientes.”
¿La diferencia? Una auditoría por terceros básicamente pregunta: ¿hizo la empresa lo que dijo que hizo? No indaga si el proceso de la empresa fue suficiente, solo si el proceso ocurrió o no. Las evaluaciones de seguridad independientes intentan, en cambio, responder la pregunta: ¿es este modelo lo bastante seguro para ser lanzado? (He escrito antes sobre los desafortunados límites de tales evaluaciones, aunque sin duda son un paso en la dirección correcta.)
¿Qué significa que un estado exija medidas como estas, pero que no sean obligatorias a nivel federal? Significa que las medidas se aplican a las empresas que tienen clientes en ese estado. Dado que las principales empresas de IA tienen clientes en todo el país, las restricciones estatales a menudo resultan en un cumplimiento nacional de hecho, y pueden ser una manera de sortear la ausencia de legislación federal. Mientras el Congreso no actúa, los estados pueden intervenir para ayudar a llenar algunos vacíos.
Pero es importante señalar que las medidas de seguridad que respaldan las empresas de IA son relativamente débiles. Esta, en mi opinión, puede ser la razón por la que OpenAI apoya el proyecto de ley de Massachusetts. Las medidas de seguridad con verdaderos dientes irían más allá de las auditorías, e incluso más allá de las evaluaciones de seguridad independientes. Podrían incluir un tope explícito a las capacidades de los modelos, para impedir que las empresas entrenen modelos cada vez más poderosos que tienen cada vez más probabilidades de escapar del aislamiento . Podrían limitar la cantidad de poder de cómputo que las empresas pueden usar para entrenar un modelo, con el fin de impedir que creen algo más inteligente que los seres humanos. Y podrían hacer a las empresas legalmente responsables cuando actores maliciosos hagan mal uso de sus modelos y causen daños generalizados.
Así que podemos ver el apoyo de la industria a los proyectos de ley estatales de seguridad como un intento de dirigir la legislación hacia un precedente que no estorbe al negocio de siempre. (Esta es mi lectura, no la de Politico, y no es la única razón plausible por la que las empresas de IA apoyan leyes estatales.) Pero sí creo que mi colega Joe tenía razón cuando escribió en mayo:
La industria no logró asegurar reglas favorables a nivel federal, así que ahora está intentando lo mismo en los estados. Si consiguen instalar algunas políticas que suenan bien pero que en el fondo no tienen dientes, y luego las consolidan como el estándar a superar, tal vez puedan frenar más interferencias no deseadas. Es un intento transparente de la industria de poner el techo donde debería estar el piso.
La ciencia a su servicio
La Casa Blanca prefiere científicos impulsados por IA antes que la investigación universitaria
Crédito: r angizzz vía Adobe Stock
¿Está la IA facilitando que el gobierno controle la investigación científica? Un poco parece que sí.
Ayer, el Wall Street Journal cubrió un informe del gobierno de Estados Unidos que dice que, de aquí en adelante, los fondos federales de investigación se enfocarán en apoyar a científicos individuales que usen IA en lugar de a universidades que realicen investigación.
Hoy, Reuters informó sobre un proyecto de 5 mil millones de dólares de la administración Trump que parece ser parte de esa iniciativa. Encargaría a científicos responder “problemas científicos de larga data en múltiples campos,” dándoles acceso a la IA, junto con grandes conjuntos de datos propiedad del gobierno “incluyendo registros sobre sustancias químicas, minerales críticos y la salud de los pacientes.”
Según el Asesor Principal de Tecnología, Michael Kratsios, parafraseado por Reuters:
La iniciativa de investigación de 5 mil millones de dólares es una oportunidad para entrenar modelos de IA con esa información y usar esos algoritmos para responder preguntas científicas.
Dejando de lado por ahora la cuestión de si la IA puede sustituir de manera confiable a equipos de investigadores universitarios, la medida parece un intento de la administración por ejercer más control sobre qué ciencia se hace, y cómo. Reuters cita el informe del gobierno: “El apoyo federal a la ciencia debe rendir cuentas políticamente.”
No puedo evitar leer esto como: “la ciencia debe estar al servicio del gobierno.” Si la IA les da (o parece darles) a los científicos individuales las capacidades que antes requerían grandes equipos académicos, le resulta más fácil al gobierno justificar un alejamiento de los proyectos liderados por universidades.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.