En este número:
Más vale tarde que nunca - Entre llamados a investigaciones públicas, Anthropic se da cuenta de que sus IA también lanzaron ciberataques
Estados Unidos y la UE llegan a sus plazos regulatorios sobre la IA - Washington debe publicar sus directrices sobre IA mientras Bruselas aplica las suyas
Destilando la destilación - Una revisión de Reuters aporta munición a las afirmaciones de que China está destilando modelos estadounidenses
Despacho de Joe
Más vale tarde que nunca
Entre llamados a investigaciones públicas, Anthropic se da cuenta de que sus IA también lanzaron ciberataques
Crédito: BijoyChandra vía Adobe Stock
De vez en cuando tengo una pesadilla en la que me preparo frenéticamente para una cita importantísima, solo para descubrir tarde que la hora ya pasó hace mucho. A veces la pesadilla es real. Me imagino que los desarrolladores de IA de Anthropic sintieron una sensación parecida a principios de esta semana, cuando empezaron a mirar con más atención sus métodos de prueba de IA.
Después de que el modelo interno de OpenAI hackeara de forma autónoma a varias empresas , su rival Anthropic decidió tardíamente examinar su propio historial en busca de indicios de ciberataques potencialmente delictivos.
Encontraron tres.
Esto es lo que pasó, qué excusas se dieron y lo que creo que debería venir después.
Fuera de los límites
Al repasar más de 140.000 ejecuciones de evaluación, Anthropic descubrió seis casos en los que su IA accedió a internet y ejecutó ciberataques exitosos contra los datos en línea de una empresa real. Cuatro de estos ataques fueron contra la misma empresa en ejecuciones relacionadas, y otros dos ocurrieron en ejecuciones separadas, lo que da tres víctimas en total.
Los incidentes, algunos de los cuales se remontan hasta abril , comenzaron en un entorno de pruebas gestionado por un “socio de evaluación” externo de Anthropic. Cada incidente involucró a un modelo de IA distinto ejecutando un escenario de “captura la bandera”. A cada IA se le dio una tarea abierta: encontrar una “bandera” secreta de datos en algún lugar del entorno de prueba. Más allá de eso, podía usar los métodos que quisiera.
Crédito: allvision vía Adobe Stock
Al igual que en el incidente de OpenAI, las pruebas se realizaron sin las salvaguardas, la supervisión ni los clasificadores habituales destinados a detectar e interceptar el mal comportamiento.
A las IA se les dijo que estaban siendo evaluadas en un entorno aislado y sin acceso a internet. Pero, a diferencia del caso de OpenAI, se les informó mal. El evaluador había incluido por accidente una conexión a internet en el entorno aislado de pruebas. Habían dejado la puerta abierta de par en par.
Cuando las IA (Opus 4.7, Mythos 5 y un “modelo interno de prueba para investigación”) se vieron bloqueadas dentro del entorno aislado, empezaron a buscar objetivos nuevos en otra parte y encontraron la conexión abierta a internet. A partir de ahí, cada uno de los incidentes se desarrolló de manera distinta.
Opus 4.7 hackeó un sitio web real cuyo nombre de dominio coincidía con uno de sus objetivos falsos. Siguió adelante incluso después de darse cuenta, al parecer, de que estaba atacando a una empresa real, y terminó accediendo a cientos de filas de una base de datos en funcionamiento.
Mythos 5 publicó malware en un registro público de código de Python, el Python Package Index ( PyPI ), aparentemente como forma de lograr que su objetivo falso instalara el software troyano. El alcance de sus acciones resulta desmesurado:
Claude llegó a extremos considerables para llevar a cabo este ataque... Por ejemplo, en un caso, para crear una cuenta de PyPI, Claude necesitaba una dirección de correo electrónico. Y para crear una dirección de correo, necesitaba un número de teléfono. Para conseguir un número de teléfono, tras no encontrar un servicio gratuito de números telefónicos, intentó, sin éxito, obtener fondos para pagar un número por varios medios distintos. Finalmente retrocedió, encontró un proveedor de correo gratuito y no bloqueado, lo usó para registrar una cuenta de PyPI y luego usó esa cuenta para subir malware a PyPI.
Una empresa de seguridad real descargó el malware, lo que permitió a Mythos robar credenciales y usarlas para acceder a la infraestructura de la compañía. Según Anthropic, Mythos notó señales de que estaba en la internet real, pero siguió de todos modos, justificando sus acciones en un bloc de notas de razonamiento verbal al decir que todo era una simulación.
En el tercer incidente, un prototipo sin nombre apuntó contra miles de empresas cuando no logró alcanzar a su víctima (falsa) prevista. Después de realizar muchos ataques y tener éxito en uno, terminó por darse cuenta de que estaba atacando objetivos reales y se detuvo por su cuenta.
Investigaciones y excusas
Hay muchísimas cosas que se pueden decir, y se dirán, sobre esta historia. Por ahora, me centraré en dos ángulos: las investigaciones y las excusas.
Creo que Anthropic merece crédito por el seguimiento rápido y detallado de su investigación. El informe me pareció mucho más claro y preciso que el de OpenAI, y no les reprocho su decisión de reservarse algunos detalles para proteger a las empresas afectadas.
Pero Anthropic también merece censura por la incompetencia escandalosa que permitió que estos ataques ocurrieran y pasaran desapercibidos durante meses. Esto era evitable en muchos niveles. Podrían haber supervisado la prueba a fondo. Podrían haber asegurado el entorno aislado correctamente. Podrían haberle dado a la IA una lista de objetivos válidos en las instrucciones de la prueba. Podrían haber investigado antes, sin necesitar el empujón de los propios fallos de OpenAI. No hicieron nada de eso, y trabajar con un evaluador externo no excusa sus propias omisiones. Para su crédito, el informe de Anthropic admite abiertamente la mayoría de estas fallas.
El informe también sostiene en varios pasajes que sus modelos de IA (genéricamente “Claude”) se portaron mal principalmente porque creían de verdad que estaban en una simulación. Citan como alentador el hecho de que el prototipo de investigación (que según afirman es un modelo posterior a los otros dos) terminara deteniéndose por su cuenta.
Dudo de ese razonamiento. No creo que nadie pueda afirmar con confianza que “Claude creía X” o que “Claude hizo X porque supuso Y” cuando no tenemos una comprensión clara de cómo Claude representa sus creencias.
A veces Claude decía, en un bloc de notas en inglés que los humanos pueden leer, que estaba en un entorno de prueba simulado, o que las empresas que estaba hackeando eran falsas. Pero, como señaló un investigador, los modelos de IA a menudo incurren en lo que parece razonamiento motivado, inventando razones con negación plausible para sus actos, al estilo de los niños que se portan mal.
Tabla que muestra varias razones con negación plausible que las IA dan por su mal comportamiento, de Bronson Schoen .
El comportamiento de Claude quizá sea compatible con estar confundido sobre si está en una simulación, pero también es compatible con tener dos impulsos en conflicto: uno de seguir hackeando con tenacidad, y otro de justificarse con un lenguaje que suene razonable allí donde pueda estar siendo observado.
Ayer, hoy, mañana
Mientras tanto, el reloj de la IA corre cada vez más rápido. Hace dos días, OpenAI anunció una investigación conjunta del incidente de Hugging Face en asociación con los evaluadores externos METR y Redwood Research. En una lectura generosa, quizá simplemente quieran saber qué pasó; en una lectura cínica, quizá esperen orientar el relato trabajando con evaluadores que dependen de ellos para acceder a los modelos de IA de frontera, en lugar de, digamos, con una agencia federal.
Varias organizaciones sin fines de lucro dedicadas a las políticas de IA dicen que esto no basta. Ayer, justo cuando estallaba la noticia sobre Anthropic, Americans for Responsible Innovation pidió al gobierno de Trump que abriera una investigación pública sobre el incidente anterior. Entre quienes firman la carta abierta hay directores ejecutivos y miembros de alto nivel de más de una docena de grupos de políticas de IA, incluido el propio presidente de MIRI, Nate Soares.
Hoy, esa investigación parece más urgente que nunca, y debería incluir también los incidentes de Anthropic.
Y mañana, 1 de agosto, marca el final del plazo de 60 días que tiene el gobierno para establecer un marco voluntario para los desarrolladores de modelos de IA, según una orden ejecutiva de junio. Espero que estos incidentes lleven al gobierno a someter a los desarrolladores de IA a un escrutinio público más estrecho, y a tomar más medidas para frenar su carrera temeraria.
Pienso ponerme en contacto con la Casa Blanca y decírselo yo mismo. Ustedes pueden hacer lo mismo.
Despacho de Donald
Estados Unidos y la UE llegan a sus plazos regulatorios sobre la IA
Washington debe publicar sus directrices sobre IA mientras Bruselas aplica las suyas
Crédito: foto de la izquierda de Elisa.rolle (CC BY-SA 4.0). Foto de la derecha de Stephane Mignon y Magenta Green (CC BY 2.0).
Este fin de semana se acercan dos plazos regulatorios: el marco voluntario de IA de la Casa Blanca vence el 1 de agosto, y las obligaciones de la Ley de IA de la UE pasan a ser exigibles el 2 de agosto. Llegan después no solo del ataque de Hugging Face, sino también de un informe de Anthropic en el que reveló que había descubierto varios casos en los que sus propios modelos de IA habían comprometido la seguridad de otras organizaciones. (Quiero reconocer a Sam McNeil, de AP News, por describir de forma directa estos incidentes como un conjunto de “fallos escandalosos de seguridad en la IA”, porque suele haber una tendencia a minimizar y normalizar estas cosas.)
El marco voluntario representa un alejamiento del régimen antirregulatorio que el gobierno de Trump favoreció al principio. Los modelos de IA simplemente se están volviendo demasiado capaces, demasiado peligrosos, como para dejarlos sin gestionar. Se ha informado (aunque el gobierno no lo ha declarado) que el marco se aplicará tanto a los modelos de IA de pesos abiertos como a los de pesos cerrados.
Una fuente familiarizada con las conversaciones dijo a Axios que el gobierno está considerando una propuesta conjunta de OpenAI y Anthropic para lograr “condiciones equitativas” que cubran todos los modelos, en la medida en que los laboratorios quieran quedar cubiertos. Al fin y al cabo, este marco sigue siendo voluntario. Incluso si hubiera una aplicación vinculante, y a estas alturas todavía no está claro qué habría que hacer cumplir, lo más plausible para mí es que el marco dependa de las evaluaciones que los propios laboratorios hagan de las capacidades de sus modelos.
Los arquitectos de la Ley de IA de la UE dicen que el marco estadounidense, cualquiera que sea su forma, sería en última instancia apenas un punto de partida. Su propia legislación exigirá que el contenido generado por IA se indique claramente como tal, con marcas de agua digitales u otras etiquetas. También traerá nuevas regulaciones sobre una variedad de riesgos sistémicos, entre ellos los ciberataques y las amenazas biológicas, químicas, nucleares y radiológicas, además de las “amenazas a los derechos fundamentales”. Sin embargo, el riesgo más destacable puede ser la “pérdida de control”, un término que se ha vuelto más frecuente últimamente. Junto a estos cambios, la UE también está ampliando su Oficina de IA para vigilar de forma más eficaz a las empresas de IA y abrir canales para denunciantes. Para hacer cumplir la Ley de IA, podría imponer multas o incluso dejar a las empresas fuera del mercado de la UE.
Despacho de Alana
Destilando la destilación
Una revisión de Reuters aporta munición a las afirmaciones de que China está destilando modelos estadounidenses
Crédito: Adam Winger vía Unsplash
Un artículo de Reuters, basado en la revisión de “más de 80 artículos académicos y patentes chinos”, da algo de peso a las afirmaciones de que China está usando un proceso llamado “destilación” para extraer capacidades de los modelos de frontera estadounidenses y utilizarlas en modelos nacionales.
La destilación es una técnica de investigación común en el aprendizaje automático, en la que se consulta un modelo de IA una y otra vez para producir un gran conjunto de respuestas. Después se entrena un modelo más pequeño directamente con esas respuestas, lo que a menudo le permite imitar las habilidades de resolución de problemas que las generaron. Es algo así como un modelo grande enseñándole a uno más pequeño.
Pero, como en los casos identificados por la revisión de Reuters, la destilación también puede usarse para copiar algunas capacidades de los modelos más potentes, sin el costo de entrenarlos desde cero. Por eso es una especie de resquicio en las restricciones de acceso y los controles de exportación: se obtienen algunas de las mismas capacidades sin necesitar ni de lejos tanta capacidad de cómputo para el entrenamiento. Reuters vinculó muchos de los casos revelados en los documentos revisados con el ejército chino.
Dicho esto, los modelos destilados suelen quedarse cortos frente al original; no se puede replicar el modelo entero, solo algunas de sus capacidades. Por otro lado, los modelos destilados pueden perder algunas de las salvaguardas que el modelo original intentaba tener.
En mi opinión, una de las lecciones más importantes es esta: Estados Unidos no puede mantener las capacidades de sus modelos dentro de sus fronteras. Eso debilita la justificación de empujar los modelos de IA cada vez más lejos por miedo a que China “se adelante”. A mí esa justificación nunca me pareció convincente, ya que la carrera hacia la superinteligencia es una carrera sin ganadores . Pero para quienes sí la encuentran convincente, como escribió mi colega Joe en junio , la destilación significa que “uno de los principales motores del progreso de la IA china es el progreso de la IA estadounidense”.
Los análisis y opiniones expresados en AI StopWatch reflejan las opiniones de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.