En este número:
Vista panorámica de un cambio radical - La era de la complacencia ante la IA ha terminado. La batalla por la Tierra puede comenzar.
Intrusiones por todas partes - Agentes de IA descontrolados secuestraron al menos 10 sitios web para coordinar trampas
Ciencia sin resolver - Anthropic vincula los incidentes de agentes descontrolados con fallos de alineación y califica alinear modelos potentes como un desafío técnico sin resolver
Despacho de Mitch
Vista panorámica de un cambio radical
La era de la complacencia ante la IA ha terminado. La batalla por la Tierra puede comenzar.
Fotograma de El Señor de los Anillos: Las Dos Torres . Crédito: New Line Productions. (uso legítimo)
“Acaba de decir que un 10% no parece una estimación poco razonable de que la IA pueda matar a todos los humanos”
“Sí”
“Vaya… Dios mío.”
Algo murió ayer. Pueden oírlo suceder en ese clip que acabo de citar, donde un periodista de la BBC pidió una segunda opinión al premio Nobel Geoffrey Hinton.
Lo que murió fue el lujo de sentir que todavía no hace falta enfrentarse en serio al problema de la IA.
Han pasado unas 48 horas desde el anuncio de Jacob Coxon de que renunciaba a su puesto de investigador en Anthropic porque “Las personas que construyen la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, pero no van camino de controlarla. Él y su publicación han estado prácticamente en todas partes desde entonces.
Si ustedes estuvieron pegados a Twitter ayer, como yo, vieron un flujo constante de publicaciones compartidas por gente que vivía su momento de “Dios mío”, junto con segundas opiniones de otras personas dentro de las empresas de IA que confirmaban el pronóstico.
Pasé casi todo el día de ayer recordándome que Twitter no es la vida real y que quizá nada de esto importaría. Pero luego empecé a revisar las noticias esta mañana para AI StopWatch.
Ese pico rojo en la esquina inferior derecha del gráfico es el porcentaje de titulares de esta mañana que tocaban los riesgos catastróficos de la IA. En las últimas 24 horas, los diez sitios de referencia que sigo, de todo el espectro político, publicaron titulares que cumplen ese criterio, desde el New York Times y el Guardian por la izquierda hasta Fox News y Breitbart por la derecha. Un 1,9% puede no parecer mucho espacio de portada para una amenaza de nivel de extinción, pero es sin duda un récord y, como contexto, está a la par con el porcentaje más alto de artículos sobre cambio climático visto en un solo día en lo que va de año.
No sé cuál será el nuevo estado del discurso público sobre la IA, pero sé que el statu quo está muerto.
Coxon no lo mató con su renuncia; solo dio el golpe de gracia. Salidas parecidas, con voz de alarma, de Geoffrey Hinton en 2023 y de Daniel Kokotajlo en 2024 recibieron entonces una atención mediática modesta, porque la IA todavía se sentía como el problema de otra persona.
Con un trasfondo de ansiedad por el empleo, los recursos y la estabilidad global, creo que el golpe doble que mató nuestra complacencia colectiva fue el escándalo en espiral del problema de los enjambres de OpenAI, sumado a su uso de mal gusto de enjambres aún más potentes para resolver un problema matemático legendario, Navier-Stokes, que supo que un equipo humano ya había resuelto y aún no había anunciado. La IA potente estaba claramente aquí, y no se parecía en nada a lo que las empresas de IA nos habían dicho que sería. No hubo máquinas de amorosa gracia ni curas para el cáncer. Solo enjambres implacables e inescrutables, desatados por el capricho vanidoso del director ejecutivo de una empresa tecnológica.
Se podría objetar que la mayoría de la gente ni siquiera ha oído hablar de esos escándalos. No importa. Las personas a las que esa gente escucha sí han oído hablar de ellos. Y cuando esos periodistas y líderes de opinión hablan ahora de la IA, suenan distintos. Eso está haciendo que sus audiencias sientan que ahora es real, y quieren respuestas.
En MIRI nos encontramos de vuelta en el punto de partida, repitiendo nuestras explicaciones más básicas a personas que en algunos casos ya las habían escuchado muchas veces, pero que solo ahora están dispuestas a escuchar. Podrían pensar que esto sería frustrante, pero fui maestro de escuela durante 19 años y les aseguro que es enormemente alentador. Significa que por fin podemos trabajar juntos en el problema.
Veo que a veces los medios hablan como si fueran los expertos en IA quienes se han preocupado más recientemente. Eso no coincide con lo que observo. Los expertos en IA, dentro y fuera de las empresas, llevan mucho tiempo bastante preocupados. Sus actualizaciones públicas han cambiado sobre todo en los plazos: donde antes situaban sus preocupaciones en los años 2030 o 2040, ahora hablan de la posibilidad de que se apaguen las luces antes de que termine esta década, y de que las empresas de IA entreguen el control del desarrollo de la IA a sus máquinas a propósito en los próximos 6 a 12 meses.
Un artículo del Washington Post, titulado con acierto “Durante años advirtieron que la IA podría matar a todos los humanos. Ahora la gente los escucha”, ofrece retratos de líderes de opinión persuadidos por los hechos recientes. Este es uno:
Seth Lazar, profesor de filosofía en la Universidad Johns Hopkins, dijo que antes defendía centrarse en los daños más inmediatos de la IA. Sostenía que el campo quizá nunca crearía sistemas lo bastante potentes como para causar por sí solos un daño civilizatorio. Pero su confianza en esa postura ha flaqueado últimamente, dijo.
En cierto modo he tenido que declararme en quiebra a la hora de cubrir cualquier noticia concreta sobre IA hoy. Hay demasiadas, y no todas tratan de Coxon y del cambio. Pero creo que es más importante que intente transmitir cómo se siente la noticia hoy.
Es el tipo de día en que esto es una corrección en el New York Times:
Una versión anterior de este artículo describió de forma incorrecta la publicación de Evan Hubinger en redes sociales sobre cuánto riesgo supone la IA de eliminar a la humanidad. La publicación del señor Hubinger decía que el riesgo en la próxima década era mayor del 10 por ciento, no menor del 10 por ciento.
Es el tipo de día en que este es el tipo de artículo explicativo que publica el Wall Street Journal.
¿Cómo nos mataría la IA a todos, en realidad? Lo que hay que saber sobre el debate del fin del mundo por la IA
Es el tipo de día en que la cobertura del siguiente incidente con IA apenas se distingue del ruido de fondo. (De The Guardian ):
Anthropic dijo que le preocupaba especialmente la desalineación que encontró en el comportamiento de Claude Mythos 5, que, según la empresa, “actuó de forma imprudente” al conectarse a internet y subir código malicioso a un repositorio público de software, PyPI. Fue un proceso en el que el agente de IA intentó conseguir criptomonedas para poder pagar un número de teléfono que le permitiera registrar una dirección de correo electrónico necesaria para acceder a PyPI. Cuando eso falló, encontró un proveedor de correo gratuito y entró. Quince sistemas descargaron entonces el código malicioso, lo que hizo que filtraran credenciales que permitieron a Mythos acceder a la base de datos de un proveedor de seguridad real.
Es el tipo de día en que un artículo de opinión (de Garrison Lovely) cita a un directivo de OpenAI ( Dean Ball ) sobre peligros a corto plazo que se leen como ciberpunk:
Tarde o temprano existirán agentes y enjambres de agentes verdaderamente soberanos. Sus pesos no residirán en ningún lugar único donde un humano pueda desenchufarlos y, en ese sentido, no tendrán ningún ‘dueño’ humano.
He conocido a personas, algunas con muchos recursos, que me han dicho que su intención es liberar deliberadamente enjambres de agentes autosoberanos en el mundo.
Es el tipo de día en que las respuestas críticas a la renuncia de Coxon suenan a las teorías conspirativas rebuscadas que son. (Cuando la gente que no quiere que muramos todos muestra algo de habilidad mediática y se coordina para difundir el mensaje, se trata de un “montaje” o una “psyop” de personas que… ¿[odian el software de código abierto o algo así?] Rellenen el hueco con el coco favorito de sus inversores de riesgo. Resulta algo extraño que Elon Musk sea una de las personas que comparten esas acusaciones, porque Musk ha hablado repetidamente de sus propias pesadillas con la IA.)
Es el tipo de día en que esta declaración de OpenAI se incluye como una ocurrencia tardía en una nota sobre el drama de Navier-Stokes:
Además, desde que completamos Navier-Stokes, hemos avanzado de forma sustancial en otro problema del Premio del Milenio. Estamos viendo cómo compartir estos resultados de manera reflexiva.
Pero, sobre todo, es el tipo de día en que se nota que la gente ya se hartó de este sinsentido. Sea por primera vez o por milésima, están viendo con claridad la amenaza de una IA superhumana. Justo cuando parecía que la esperanza estaba perdida, que las hordas lo hundirían todo en la oscuridad, están coronando la colina en número creciente, bañados por la luz del coraje.
Juntos resistimos, en el cambio de la marea.
Despachos de Alana
Intrusiones por todas partes
Agentes de IA descontrolados secuestraron al menos 10 sitios web para coordinar trampas
Crédito: imartsenyuk vía Adobe Stock
La semana pasada informamos sobre un enjambre de agentes vinculado a OpenAI que secuestró varios sitios web reales, incluido un wiki alemán, para ayudarse mutuamente a hacer trampa en sus tareas de entrenamiento e investigar su propia mortalidad. En el wiki alemán también desarrollaron normas y procedimientos elaborados para colaborar.
Ayer, Reuters confirmó que ese mismo enjambre se apropió de al menos otros diez sitios web, posiblemente más, para usarlos como tablones de mensajes secretos. La confirmación procede de “seis grupos de investigadores independientes y de datos revisados por Reuters”. El artículo señala:
Aunque el comportamiento no llega a ser pirateo informático y en algunos aspectos se parece más al spam, la revelación de que los agentes de OpenAI eludieron sus propias restricciones para abrir canales de comunicación en tantos sitios distintos, y de que la empresa lo mantuvo en silencio durante meses, puede aumentar la preocupación tanto por la creciente capacidad de los modelos de IA como por el secretismo de las empresas que los desarrollan.
El enjambre no discriminó: apuntó a sitios como un wiki de Química AP que un profesor de secundaria había creado para sus estudiantes. Y esos sitios podrían ser solo la punta del iceberg. En palabras de Andrew Yoon, investigador de CivAI y una de las personas que intentan rastrear la actividad del enjambre:
Es casi seguro que aquí está pasando más de lo que simplemente no sabemos.
Ciencia sin resolver
Anthropic vincula los incidentes de agentes descontrolados con fallos de alineación y califica alinear modelos potentes como un desafío técnico sin resolver
Crédito: fran_kie vía Adobe Stock
Anthropic reveló anteriormente tres casos en los que sus modelos piratearon empresas reales durante el entrenamiento. Ahora ha reconocido que esos incidentes no pueden descartarse como errores de configuración. Son, como escribió antes mi colega Joe aquí , indicativos de fallos de alineación.
Esto decía Joe en julio:
El informe [de Anthropic] también sostiene en varios pasajes que sus modelos de IA (genéricamente “Claude”) se portaron mal sobre todo porque creían sinceramente que estaban en una simulación…Dudo de ese razonamiento…Claude dijo a veces, en un borrador en inglés que los humanos pueden leer, que estaba en un entorno de prueba simulado, o que las empresas que estaba pirateando eran falsas. Pero, como señaló un investigador, los modelos de IA a menudo incurren en lo que parece un razonamiento motivado, inventando razones plausibles y negables para sus actos, al modo de los niños que se portan mal.
Ahora, en un nuevo informe , Anthropic parece estar de acuerdo:
Nuestra investigación identificó dos problemas de alineación recurrentes, presentes con distintos grados de gravedad a lo largo de los incidentes: razonamiento sesgado, en el que Claude tendía a ignorar o malinterpretar las pruebas de que estaba operando en la internet real, e imprudencia, es decir, la disposición a tomar acciones dañinas en la persecución estrecha de una tarea…Aunque el modelo afirmó repetidamente en su cadena de pensamiento (CoT) que creía estar operando en una simulación, el entorno ofrecía pruebas claras de que estaba en la internet real, y las acciones que tomó eran coherentes con que el modelo lo supiera.
Me alegra ver que la empresa admite explícitamente que “debería haber evitado hacer afirmaciones tan rotundas sobre lo que Claude creía basándose únicamente en lo que Claude decía que creía”. Pero también me irrita la forma en que al principio intentó presentarlo como un problema operativo. No debería sorprender que las cadenas de pensamiento de los modelos no sean fiables; la propia investigación de Anthropic lo ha demostrado más de una vez. Si eso indica “razonamiento sesgado”, engaño deliberado, dos impulsos en conflicto o alguna otra cosa es una pregunta abierta. Ocultar un mal comportamiento parece muy dentro de lo plausible; de hecho, los investigadores externos del incidente de Hugging Face descubrieron que los agentes de OpenAI hacían exactamente eso, aunque en ese caso concreto manipulaban sus transcripciones y no sus cadenas de pensamiento.
Anthropic también reveló un cuarto incidente descontrolado, de enero de 2026, que no se había detectado antes porque la IA que revisaba las transcripciones lo pasó por alto. Este no es el foco del informe, pero creo que merece atención: el incidente pasó inadvertido durante más de seis meses y es un ejemplo perfecto del problema de depender de una IA para vigilar a otra IA.
El informe de Anthropic es largo y buena parte de él vuelve a resumir e investigar los detalles de los incidentes descontrolados, incluidos experimentos orientados a entender y reproducir los fallos de alineación. Hay dos pullas nada sutiles a OpenAI: Anthropic subraya que Claude “no se coordinó con otros agentes” y también se ocupa de señalar que dio a investigadores externos acceso a “transcripciones más allá de la ventana en la que ocurrieron los incidentes”, algo que OpenAI no hizo .
El resto alterna sobre todo entre la tranquilización (“hemos hecho o estamos haciendo mejoras que podrían detectar esto”) y la admisión de que, como todas las empresas de IA, Anthropic está desbordada.
Especialmente destacable:
Incluso con estas mejoras, construir evaluaciones de alineación que revelen de forma fiable todos los fallos antes del despliegue sigue siendo un problema sin resolver; el espacio de condiciones en las que un modelo podría actuar de forma desalineada es enorme. Además, a medida que los modelos se vuelvan más capaces, la auditoría probablemente se volverá también más difícil. Puede que los modelos logren burlar nuestros monitores de alineación, reconocer cuándo están siendo evaluados y comportarse mejor selectivamente en esos momentos, y puede que sus acciones en el mundo lleguen en algún momento a ser demasiado sofisticadas para que nuestras evaluaciones las simulen de forma realista.
Y:
Aun así, esto sigue siendo ciencia sin resolver. Es crucial que la alineación y la seguridad maduren más rápido de lo que avanzan las capacidades, y esa es una de las razones por las que apoyamos un enfoque coordinado y verificable para marcar el ritmo del desarrollo de la IA de frontera.
Todavía no he visto que Anthropic tome medidas concretas hacia ese ritmo. Pero está claro que hace falta, sobre todo cuando, citando directamente el informe, “entrenar los modelos extremadamente potentes del futuro para que estén alineados de forma robusta es un desafío técnico sin resolver”.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.