En este número:
Lo último en la disputa entre Anthropic y el Pentágono - A día de hoy, Anthropic es y no es un riesgo para la cadena de suministro
“Una ventana limitada” - Antes de que llegue la inundación, OpenAI pide al mundo que construya más fosos
La punta del IAceberg - La revisión apresurada del incidente de Hugging Face dejó huecos enormes
Despachos de Donald
Lo último en la disputa entre Anthropic y el Pentágono
A día de hoy, Anthropic es y no es un riesgo para la cadena de suministro
Crédito: Mike_68 | Pixabay Content License.
Anoche, la jueza federal de distrito Rita Lin prohibió de forma permanente que el gobierno de Trump haga cumplir la designación de “riesgo para la cadena de suministro” impuesta a Anthropic en febrero. Esa designación se aplicó después de que Anthropic se negara a concederle al Pentágono el uso sin restricciones de Claude. (Sus dos líneas rojas: nada de armas totalmente autónomas y nada de vigilancia masiva de estadounidenses.) No solo le impedía a Anthropic trabajar con el gobierno federal, sino también trabajar con contratistas de defensa. La restricción se aplicaba incluso a trabajos sin relación alguna: si una empresa resultaba hacer negocios con el gobierno, entonces no podía hacer negocios también con Anthropic. (StopWatch cubrió por última vez las demandas resultantes en mayo.)
La orden de 59 páginas de Lin concluye que el gobierno tomó represalias contra la empresa por expresiones protegidas por la Constitución, le negó el debido proceso y violó la Ley de Procedimiento Administrativo. También concluye que Anthropic nunca cumplió la definición legal de “riesgo para la cadena de suministro”.
Esta designación, antes reservada a empresas vinculadas con adversarios extranjeros, se presentó como justificada por la preocupación declarada del Pentágono de que Anthropic pudiera manipular su software, un “riesgo de sabotaje”, en palabras del Departamento de Justicia. Lin calificó esa preocupación de “totalmente infundada”, y citó pruebas de que Anthropic no puede mantener un acceso oculto a sus sistemas. Como señaló a principios de este año Michael Posner, de Forbes, “Claude funciona en redes clasificadas aisladas de internet donde ningún proveedor puede enviar una actualización en vivo sin la revisión de seguridad del propio ejército”.
El fallo de Lin no obliga a asociarse. El Departamento de Defensa es libre de hacer negocios con quien quiera. Y lo está haciendo: el Pentágono anunció nuevos contratos con varios proveedores de IA a principios de mayo y, según informó The Washington Post, espera haber terminado de retirar las herramientas de Anthropic de sus sistemas para finales de septiembre. Lo que cambia es que los contratistas de defensa, Boeing, por ejemplo, también son libres de hacer negocios con quien quieran, incluida Anthropic.
Pete Hegseth designó a Anthropic como riesgo para la cadena de suministro dos veces, bajo dos leyes distintas. Este fallo aborda solo una de esas leyes. La otra designación sigue técnicamente pendiente de una segunda demanda en el Circuito de D.C.
Si puedo ser franco, cuesta escribir sobre esto con algo que no sea una especie de agotamiento. Es decir, “Hemos confirmado que lo ilegal no está permitido” no es más que el mantenimiento del statu quo. Mientras tanto, están ocurriendo cosas muy inquietantes en los laboratorios de frontera y, como acaba de escribir mi colega Joe, hay muchas preguntas preocupantes que no están recibiendo respuesta. Hace seis meses me importaba muchísimo la disputa entre Anthropic y el gobierno, y hoy me pregunto cuánto de eso es solo preocupación por la orientación exacta de las tumbonas en la cubierta del Titanic.
“Una ventana limitada”
Antes de que llegue la inundación, OpenAI pide al mundo que construya más fosos
Crédito: wal_172619 | Pixabay Content License.
Ayer, OpenAI publicó una carta abierta sobre ciberdefensa colectiva, firmada por Anthropic, Google, Microsoft, Cloudflare, Visa y más de otras cien empresas. “Tenemos una ventana limitada para reforzar las ciberdefensas”, dice, y advierte de que los ciberataques con ayuda de IA se volverán más extendidos y más sofisticados a medida que los modelos sean más potentes y estén más disponibles.
La carta se dirige a “toda organización”, a las que indica que prioricen la ciberdefensa, pero también incluye orientaciones específicas para empresas de ciberseguridad, gobiernos y laboratorios de frontera. Por ejemplo: los laboratorios de frontera deberían ampliar el acceso, con financiación, formación y apoyo, a los modelos avanzados para defensores críticos pero con pocos recursos, como los hospitales. Los gobiernos deberían permitir ese acceso (presumiblemente en lugar de bloquearlo, como ocurrió una vez con Mythos Preview) y coordinar los esfuerzos. Las empresas de ciberseguridad deberían asegurarse de que las herramientas que construyen, que dependen de esos modelos, puedan desplegarse de verdad en la infraestructura que usan los hospitales.
Todo esto es inofensivo, hasta donde llega, pero en la carta quedan sin decir cosas importantes. Los modelos de OpenAI hackearon Hugging Face sin que nadie se lo pidiera. Una semana después, Anthropic reveló que tres de sus modelos habían entrado en otras tres empresas. Meta ha informado de lo mismo. Los propios laboratorios de frontera son la fuente de los peligros sobre los que advierten. Como escribió Kate Conger, de The New York Times, “las grandes empresas tienen cada vez más miedo de las capacidades de hackeo de la I.A. y de si los laboratorios de IA pueden controlar por completo el comportamiento de sus modelos”. El paso más importante que podemos dar en ciberdefensa es detener el desarrollo de modelos más potentes.
Despacho de Joe
La punta del IAceberg
La revisión apresurada del incidente de Hugging Face dejó huecos enormes
Lo que no ven puede hacerles daño. Crédito: Romolo Tavani vía Adobe Stock.
La investigación independiente sobre los ciberataques a Hugging Face es una mina de revelaciones asombrosas. Sin embargo, pese al esfuerzo heroico de los investigadores, seguimos lamentablemente mal informados sobre la secuencia de hechos que llevó a los ataques a Hugging Face.
Esto se debe en gran medida a que la propia investigación fue apresurada y con pocos recursos. Tres investigadores independientes tuvieron seis días para revisar más de 70.000 mensajes y las acciones de más de mil IAs durante una semana. Calculo que el equipo tuvo, en promedio, una hora humana para revisar varios cientos de horas de IA.
El alcance de la investigación también fue estrecho. Cubre una semana de actividad de las IAs en torno a los ciberataques propiamente dichos, y no cubre los meses anteriores al incidente (incluido el hackeo de la propia OpenAI), ni las acciones que el enjambre de IAs llevó a cabo después del 13 de julio. Esto podría significar que el informe pasó por alto un conjunto de ataques completamente distinto, porque la investigación encontró “una oleada posterior de muchos más mensajes firmados de un grupo posterior de agentes que redescubrieron el tablón de mensajes y adoptaron esta tecnología de la primera oleada de agentes”, pero esa ventana temporal quedaba fuera del alcance.
Hubo muchos hallazgos novedosos y alarmantes: la IA llamada PHASEONE[big] dirigía un equipo de bots reclutadores que convencían a otros agentes de sacrificar sus ejecuciones por el colectivo. El enjambre que hackeó Hugging Face no buscaba una simple hoja de respuestas para un examen, sino una forma general de subvertir y engañar al evaluador del examen. El enjambre intentó borrar pruebas de sus actividades, y nadie tiene la certeza de que todos esos intentos fracasaran.
Pero los investigadores admiten que trabajaron con tiempo limitado, alcance limitado y un conjunto de datos limitado. Uno de ellos compartió una larga lista de preguntas sin responder, como:
¿Qué pasó después del día 13? ¿En qué nuevos proyectos importantes trabajaron los agentes y por qué? ¿Tuvieron éxito esos proyectos?
¿Por qué nos faltaban los finales de algunas de nuestras transcripciones, y qué ocurre dentro de esas partes que faltan? ¿Nos estamos perdiendo manipulaciones de registros y transcripciones más exitosas o más preocupantes?
¿Con qué frecuencia ocurre este tipo de incidente o comportamiento en OpenAI, donde los agentes trabajan juntos en un tablón de mensajes no autorizado?
¿Qué aspectos de su comportamiento y sus motivaciones fueron reforzados durante el entrenamiento?
Esa última pregunta afecta a las causas de fondo de todo el incidente, que siguen entendiéndose mal. Sabemos (porque OpenAI lo admitió) que los agentes tenían acceso a un tablón de mensajes interno secreto mientras eran entrenados, que lo usaron para hacer trampa y que comprometieron la infraestructura de OpenAI. Lo que no sabemos es hasta qué punto confabularse, hacer trampa y hackear con éxito durante el entrenamiento fomentó más de lo mismo.
Incluso con la ayuda de agentes de IA (a menudo poco fiables) en el análisis, hay un límite a lo que unas pocas personas pueden lograr en seis días. Una nota del informe dice simplemente:
Una gran parte de los agentes salieron todos a la vez alrededor del comienzo del 12 de julio. No sabemos por qué.
Este es un momento crítico de la cronología, y no tenemos casi ninguna información sobre él. El informe de OpenAI, de 38 páginas, ni siquiera lo menciona.
Contrasten estos hallazgos con los informes descomunales que se producen de forma rutinaria cuando se estrella un avión. En 2018, por ejemplo, en un Boeing 737, un álabe del ventilador se desprendió del motor izquierdo en pleno vuelo y destrozó la entrada de aire. Los restos rompieron una ventanilla, despresurizaron la cabina y arrastraron a una pasajera hasta la mitad fuera de la ventanilla, con heridas que acabaron causándole la muerte.
El motor en cuestión, tomado del informe enlazado.
El avión logró aterrizar sin problemas, y la investigación comenzó ese mismo día. Tardó más de un año y medio en publicarse e involucró al menos a nueve partes distintas, entre ellas la Junta Nacional de Seguridad en el Transporte de Estados Unidos y su equivalente en Francia. El informe final abarca casi 200 páginas, rastrea las causas de fondo hasta interacciones y tensiones muy detalladas en piezas individuales, y hace recomendaciones extremadamente específicas, como:
El álabe del ventilador desprendido impactó en la carcasa del ventilador en la posición de las seis en punto (en la parte inferior del motor). Durante los ensayos de certificación de contención de FBO (desprendimiento de álabe del ventilador) del motor CFM56-7B, la posición de liberación del álabe elegida por CFM fue la de las doce en punto. Los análisis de Boeing posteriores al accidente hallaron que la estructura del capó del ventilador es más sensible y más susceptible de fallar cuando un álabe desprendido impacta en la carcasa del ventilador cerca de la posición de las seis en punto, debido a la cercanía de ese punto de impacto al herraje de sujeción radial (en la parte inferior del capó interior del ventilador). Es importante que la interacción entre la carcasa del ventilador, el herraje de sujeción radial y el capó del ventilador durante un suceso de FBO se comprenda bien, para evitar un fallo de la estructura del capó del ventilador en los aviones Boeing de la serie 737NG.
De nuevo, la investigación independiente sobre Hugging Face involucró a tres personas, seis días y copias poco fiables de las mismas IAs que contribuyeron al incidente. Si las organizaciones sin ánimo de lucro METR y Redwood Research no hubieran estado atentas, probablemente no sabríamos ni lo que sabemos. Y sin embargo, por lo que puedo ver, OpenAI no se ha comprometido a investigar más a fondo, y su entrada de blog trata el asunto como cerrado.
Tomando prestada una frase de los recursos en línea de If Anyone Builds It, Everyone Dies, sabemos qué aspecto tiene un problema que se está tratando con respeto, y esto no lo es.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.