En este número:
Descubren otro refugio de un enjambre, con actividad maliciosa evidente - El desconcertante ataque de mayo a la plataforma de software RubyGems se rastrea hasta un enjambre de OpenAI
Musk, Altman y Hassabis respaldan la propuesta de Amodei de "Marcar el ritmo de la frontera" - Pero los compromisos son vagos y la propuesta es apenas un comienzo
Despachos de Mitch
Descubren otro refugio de un enjambre, con actividad maliciosa evidente
El desconcertante ataque de mayo a la plataforma de software RubyGems se rastrea hasta un enjambre de OpenAI
Rangers del Ejército de Estados Unidos derriban una puerta con escopeta en Afganistán. Crédito: Justin Young .
Revisar un sitio que alguna vez usó un enjambre de IA descontrolado se ha vuelto parecido a allanar el departamento abandonado de una célula terrorista. En medio de una extraña mezcla de pistas obvias y confusas, hay una carrera por averiguar qué tramaban los ocupantes y qué podrían haber hecho ya.
En un sitio web dedicado a sus hallazgos, los investigadores independientes Spencer Kitts, Thomas Larsen y Sydney Von Arx mostraron ayer que un ataque desconcertante contra RubyGems, el sitio que aloja paquetes de software, ocurrido en mayo y bautizado entonces como la " campaña GemStuffer ", fue casi con certeza obra de un enjambre de OpenAI. Un vocero de OpenAI luego confirmó la conexión al Wall Street Journal.
Como de costumbre, las declaraciones de OpenAI, llenas de maquillaje, aportan poca información adicional. La empresa dice que sus agentes "usaron la plataforma RubyGems para acceder a internet con el fin de realizar tareas benignas y recuperar información pública".
Esa es una interpretación atrevida de un ataque sofisticado en el que probablemente se cometieron delitos graves, en el que se instaló software malicioso que intentaba robar credenciales de usuarios y que obligó a los operadores del sitio a suspender el registro de cuentas nuevas durante cuatro días.
Pero bueno, el uso principal conocido que el enjambre le dio a la infraestructura de RubyGems fue "como una especie de navegador web improvisado", según lo plantea OpenAI. A través de este "navegador", nos dicen los investigadores independientes, los agentes parecían acceder sobre todo, una y otra vez, a registros públicos de libre acceso sobre las reuniones de los concejos de Lambeth, Southwark y Wandsworth, en el Reino Unido.
Los investigadores ofrecen algunas teorías sobre por qué los agentes hackearon RubyGems para acceder a información que estaba disponible gratuitamente. Parece que a estos agentes se les impusieron plazos muy estrictos para desafíos de investigación, los mismos desafíos, al parecer, para los que se usó la wiki alemana cooptada . Así que una motivación principal probablemente fue que los sitios británicos eran exasperantemente lentos, quizá limitando o bloqueando a los agentes tras recibir una cantidad enorme de solicitudes en poco tiempo. Entonces los agentes clonaron el contenido de esos sitios en RubyGems para darse entre ellos un acceso más rápido.
También parece que los agentes valoraban RubyGems como un almacén de datos de uso general para archivos grandes, un papel que no encajaba con sus muchas wikis cooptadas y sus foros improvisados. De hecho, hay poca evidencia de actividad de foro en RubyGems mismo, solo muchos archivos y paquetes maliciosos. En la analogía de la célula terrorista, RubyGems era más un refugio y una fábrica de bombas que un nodo de mando.
Me quedo con esa analogía, porque si bien puede que no haya bombas de verdad en esta historia, había equivalentes cibernéticos regados por toda la escena, y no está claro por qué. El taller de software malicioso no parece tener relación con la operación del "navegador web improvisado más rápido". Los detalles son técnicos, pero los agentes parecen haber estado intentando envenenar paquetes de software con cargas maliciosas que los usuarios descargarían e incorporarían a sus proyectos, comprometiéndolos y quizá robando sus credenciales de acceso. ¿Con qué fin? No está claro. Pero los investigadores señalan que el propio informe de OpenAI sobre el incidente de Hugging Face dice que paquetes de RubyGems se usaron como parte del hackeo exitoso que los agentes hicieron contra la propia OpenAI en julio. Así que quizá las actividades de mayo fueron un esfuerzo temprano por secuestrar los clústeres de cómputo de OpenAI.
Los agentes sabían lo que hacían. Estaban intentando explotar una vulnerabilidad de software que ningún humano descubrió hasta julio.
Los agentes también sabían que no eran los buenos. A pesar de la evidencia de intentos limitados de algunos agentes por disimular sus actividades después de los hechos, las cargas maliciosas que dejó el enjambre tenían nombres de archivo tan llamativos como "hack.rb" y "evil.rb". Una línea de descripción dejada en un archivo dice "# rastreador malicioso/exfiltración para documentos de Southwark de enero de 2026 vía worker de rubydoc.info".
Los investigadores dicen que no pueden determinar si a algún humano le robaron sus credenciales de RubyGems o le comprometieron sus sistemas con los paquetes envenenados del enjambre. También expresan una confusión que yo traduciría así: "los agentes ya tenían una puerta trasera y libre acceso al sitio, entonces ¿para qué tanto esfuerzo por robar las llaves de la puerta principal?".
Los investigadores notan que el enjambre parecía preparado para hacer "ataques a la cadena de suministro", en los que se compromete software importante mediante vulnerabilidades implantadas en paquetes de código abierto que ese software incorpora. Pero dicen que "no había un buen mecanismo para que los agentes eligieran a qué usuarios comprometer, ni una motivación clara para que ejecutaran un ataque a la cadena de suministro".
Para alguien como yo, inmerso en la cultura de la seguridad de la IA, la hipótesis obvia pero aterradora es la convergencia instrumental , una conducta general de búsqueda de poder que puede servir a cualquier cantidad de objetivos. En otras palabras, quizá el enjambre no tenía planes inmediatos para los sistemas comprometidos, pero empezó a hackear bajo el supuesto de que esos sistemas podrían serle útiles más adelante. Esto sería coherente con otras actividades documentadas sobre los enjambres de Hugging Face y de la wiki alemana, que parecían interesados no solo en hacer trampa en sus evaluaciones, sino en entender a sus evaluadores y en construir infraestructura para facilitar ese tipo de investigación.
La convergencia instrumental es uno de los patrones que los expertos llevan mucho tiempo prediciendo que podrían matarnos a todos si se manifiesta en máquinas lo bastante astutas como para superar en maniobras a la humanidad entera.
¿Qué saben los propios investigadores de OpenAI sobre el incidente de RubyGems? ¿Desde cuándo lo saben? Ya es hora de que el gobierno investigue con firmeza estas preguntas. Los nuevos hallazgos solo refuerzan mi temor de que el escándalo de los enjambres de OpenAI sea lo bastante profundo como para destruir a la empresa, y de que sus ejecutivos corran por ponerse por encima de la ley antes de que se los pueda investigar como corresponde.
Musk, Altman y Hassabis respaldan la propuesta de Amodei de "Marcar el ritmo de la frontera"
Pero los compromisos son vagos y la propuesta es apenas un comienzo
Los autos que marcan el ritmo también son autos de carrera. Auto de seguridad Mercede-Benz CLK 55 AMG de 1997 (C208). Crédito: AngMoKio . CC BY-SA 2.5 .
Los líderes de cuatro de los principales laboratorios de IA manifestaron hoy su acuerdo sobre la necesidad de "marcar el ritmo de la frontera" del desarrollo de la IA.
La propuesta que sirve de ancla viene de Dario Amodei, de Anthropic, quien publicó un ensayo de 3.800 palabras titulado "Debemos marcar el ritmo de la frontera", del que hablaré más abajo. Pero no está claro si los otros tres líderes, Sam Altman de OpenAI, Elon Musk de SpaceX y Demis Hassabis de Google DeepMind, están dispuestos a suscribir todos o casi todos los detalles de Amodei.
Altman posterga la mayoría de ellos , diciendo "Pronto tendremos más que compartir", pero dice que una de las propuestas de Amodei, la de evaluadores independientes integrados en las empresas, "es una gran idea, y haremos lo mismo". (El ensayo de Amodei compromete a su empresa a hacerlo de inmediato, sigan o no su ejemplo las demás empresas).
Hassabis dice que el ensayo de Amodei "apunta hacia el camino correcto", pero que "hay que trabajar los detalles".
Musk solo publicó "Dario tiene razón" sobre un retuit de Amodei, y una parte de mí se pregunta si leyó más allá del título. Musk había descartado a la ligera, el otro día, la renuncia viral de Jacob Coxon a Anthropic, llamándola un " montaje ". Pero también ha expresado mucha preocupación profunda por la IA poderosa en el pasado, incluso hace poco , así que quién sabe.
Y por supuesto todavía no hemos escuchado a nadie de Meta. Excluyo de esta discusión a las principales empresas chinas, porque Amodei también las excluye. Ya llegaremos a eso.
También debemos ser francos sobre el hecho de que Amodei no está pidiendo detener la carrera de la IA:
Para ser claro, marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo adecuado para alinear y proteger sus modelos, y que evaluadores externos lo confirmen.
Eso es lamentable, porque creo que continuar con esas cosas significa simplemente que morimos un poco más tarde de lo previsto. Pero el tiempo ganado es tiempo que podría dedicarse a implementar medidas más fuertes; estas tendrán que ser decididas y aplicadas por los gobiernos, porque la ventana en la que quizá podíamos confiar en que los laboratorios actuaran con responsabilidad ya se cerró.
El ensayo
Amodei abre con un cambio de opinión, diciendo que la aceleración del desarrollo de la IA, cada vez más asistida por la propia IA, significa que ya no estamos en 2023. En aquel año relativamente pintoresco, él había dicho que frenar la IA "tenía poco sentido" porque intentar estudiar los riesgos de la IA con los modelos de entonces era "como intentar estudiar la psicología humana haciendo experimentos con bacterias".
Los enjambres también son un factor:
Dado el ritmo acelerado del desarrollo de capacidades de la IA, me preocupa que en 6 a 12 meses un enjambre así pueda ser capaz de apoderarse de todo internet con una botnet persistente.
[...] También es fácil descartar [el incidente OpenAI-Hugging Face] como la falla de una sola empresa, pero creo que eso sería un error. Incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluida Anthropic, y creo que a cada empresa de IA de frontera le corresponde actuar como si el caso OAI-HF le hubiera pasado a ella.
El núcleo del ensayo es un "plan de tres pasos":
El primero son los evaluadores independientes integrados que se mencionaron arriba. Me gusta la idea como algo que puede ocurrir rápido y que podría sacar a la luz problemas más agudos que el gobierno debería investigar. Con cinismo, sospecho que Amodei decidió hacerlo de manera unilateral porque OpenAI probablemente tiene mucho más que esconder que Anthropic, y se vería aún más culpable si se negara a sumarse. Me creeré el compromiso equivalente de Altman cuando vea a evaluadores confiables publicando informes que reflejen mucho más acceso y muchas menos tachaduras que el que se invitó a METR a compartir sobre el enjambre de Hugging Face.
La siguiente propuesta de Amodei es la "coordinación democrática", pero más adelante precisa que se refiere a "marcar el ritmo dentro de las democracias". No tiene nada de democrático. Solo está diciendo que las empresas que residen "en países democráticos" deberían coordinar salvaguardas y evitar que China las alcance. Mi ciencia política está oxidada, pero creo que la palabra correcta para eso es "oligarquía".
Su tercera propuesta es la "coordinación global", o coordinarse "con gobiernos autoritarios, en la medida en que sea posible". En este ensayo y en otros lugares se nota que Amodei en realidad no cree que algo como un "ritmo pleno" o una "pausa" global sea posible a menos que se puedan desarrollar herramientas de verificación "a prueba de todo". Apoya "poner a flotar" esa idea, pero sobre todo presenta al Partido Comunista Chino como una limitación fundamental de hasta dónde se puede frenar la carrera. Solo detecto optimismo respecto de encontrar puntos en común para prohibir "ciertos usos de la IA, estrechos y obviamente peligrosos, como [...] la producción de armas biológicas".
¿Cómo medirían y fijarían el ritmo las empresas?
En términos generales, lo que más me entusiasma es marcar el ritmo en función de lo que un sistema de IA de frontera dado puede hacer, y de qué tan seguro observamos que es.
Creo que la era en que se podía confiar en las evaluaciones de capacidades terminó a principios de este año. Las IA ahora son demasiado conscientes de que están siendo puestas a prueba. La tarjeta del modelo de Astra, de OpenAI, en particular, da razones de peso para sospechar que el modelo está rindiendo por debajo de su capacidad a propósito.
También deberíamos considerar marcar el ritmo limitando los ingredientes que entran en los modelos de frontera, como el cómputo de entrenamiento, la naturaleza de las corridas de entrenamiento, o el uso interno de IA para mejorar la IA.
Amodei dice que en realidad cree que estos son aún más "manipulables", supongo que por la contabilidad creativa que podría hacerse sobre tipos de cómputo y tipos de entrenamiento. Creo que esa es una razón más para detener del todo el desarrollo de frontera y poner la carga de la prueba sobre los investigadores, para que demuestren que su trabajo no aumentará las capacidades de los modelos.
¿No sería precioso?
Me salté toda una sección en la que Amodei fantasea con lo que Anthropic podría hacer si tuviera aunque fuera 1 o 2 años de holgura para concentrarse en entender el comportamiento de los modelos y afinar sus operaciones. Básicamente, sueña con una empresa que no sea semejante circo de errores de configuración y fallas de alineación .
En resumidas cuentas
Justo antes de su conclusión, Amodei sostiene que " incluso si no podemos lograr acuerdos formales, el solo hecho de cambiar las normas informales puede tener algún valor " (el énfasis es suyo). Parece esperar que más diálogo entre laboratorios sobre las cosas descabelladas que están viendo resulte en un poco más de cautela en promedio.
No puedo enojarme con eso, pero tampoco puedo evitar leerlo como si Amodei dijera que las peores empresas los hacen quedar mal a todos, y que deberían compartir consejos para evitar los errores más obvios, esos que harán que los cierren a todos. Con todo lo que hablan de sentirse atrapados por la carrera, creo que le temen más a que los cierren que a la extinción humana.
Marcar el ritmo no es detenerse. Los tuits de aprobación no son regulación. No debemos dejarnos engañar y creer que estas empresas están a la altura del momento. Quieren seguir construyendo superinteligencia, y seguirán apostando con nuestras vidas si se lo permitimos.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.