En este número:
La advertencia de extinción de personas dentro de Anthropic se vuelve megaviral - Las advertencias ganan fuerza tras la última renuncia
Perder el control a propósito - La automejora recursiva está entregando el futuro a las IA
Anthropic negó el acceso de prueba al UK AISI - La organización externa no pudo evaluar el último modelo de IA de Anthropic
Más acusaciones directas de copia de modelos - China podría estar copiando la imprudencia de las empresas estadounidenses, además de sus IA
Despacho de Robert
La advertencia de extinción de personas dentro de Anthropic se vuelve megaviral
Las advertencias ganan fuerza tras la última renuncia
Anoche, el investigador de IA Jacob Coxon anunció en X que renuncia a Anthropic. Una de las razones que dio Coxon para su renuncia fue que ni Anthropic ni OpenAI están actuando de manera responsable. Al contrario, dice, están jugando con la vida de todos nosotros al correr hacia la superinteligencia artificial.
En su hilo, Coxon escribe muchas cosas con las que estoy completamente de acuerdo, y que a los lectores habituales de AI StopWatch les resultarán bastante familiares:
Soy optimista sobre el potencial de coordinación. Los avisos de alarma, como el ataque a Hugging Face, han hecho más viables los acuerdos de ritmo entre los laboratorios de EE. UU. No siento que estemos en camino de evitar una carrera global, lo que puede requerir acciones costosas, como una prohibición temporal de mejorar las capacidades de los modelos.
Sus argumentos, aunque muy buenos, no son nuevos. Son esencialmente lo mismo que la comunidad de seguridad de la IA ha venido repitiendo durante años, y algunos durante décadas. Jacob Coxon tampoco es el primer empleado de un laboratorio de frontera que renuncia para advertir de los riesgos significativos. El premio Nobel Geoffrey Hinton (antes en Google), Daniel Kokotajlo (antes en OpenAI) y Richard Ngo (antes en OpenAI y Google DeepMind) han hecho lo mismo. Más de 1300 empleados de empresas de IA de frontera han firmado la declaración Pacing the Frontier. En la sección de comentarios personales de la declaración, muchos investigadores se han expresado con la misma franqueza.
Esta vez, sin embargo, el mensaje de Coxon parece haber llegado justo en el momento adecuado y está ganando un impulso considerable. Mientras escribo esto, su publicación en X tiene más de 100 millones de vistas y más de 500 000 me gusta. No recuerdo que una advertencia sobre el riesgo de extinción que plantea la superinteligencia haya recibido nunca más atención y apoyo en X.
Mientras tanto, varios senadores y representantes de EE. UU., e incluso algunos parlamentarios británicos, han aprovechado la publicación de Coxon para sumarse al coro de advertencias y pedir más regulación. El gobernador de Illinois, JB Pritzker, escribe:
Es hora de dar la voz de alarma, más fuerte, sobre la necesidad de poner límites a la inteligencia artificial. Cada vez está más claro que la IA supone una amenaza para la humanidad, así que pido una acción inmediata a la industria y a Washington.
Incluso medios de comunicación de primera línea, no solo en el mundo anglosajón sino en todo el planeta, han recogido las advertencias y están informando con una seriedad poco habitual sobre el peligro al que nos enfrentamos.
Todavía me sorprende un poco lo fuerte que es de repente la reacción, pero la acepto. ¡Con mucho gusto!
Por supuesto, las reacciones no son unánimemente positivas. Además de algunas de las habituales malas interpretaciones, también hubo, por extraño que parezca, algunas voces en X que al principio dudaron de que Jacob Coxon exista o de que refleje con precisión las opiniones que hay dentro de los laboratorios de frontera.
Evan Hubinger, actual responsable de alineación en Anthropic (y antes investigador en MIRI), salió en su defensa:
Jacob tiene razón aquí. ¡De verdad creemos sinceramente que la IA podría matar a todos los seres humanos! Personalmente, creo que la probabilidad es superior al 10 % en la próxima década. Creo que Anthropic está haciendo todo lo posible, pero todavía no tenemos un plan para resolver la alineación de la superinteligencia y no está claro que vayamos camino de conseguirlo.
Así que no deberíamos dar por sentado que la mayor atención hará automáticamente más fácil convencer a la gente. Pero deberíamos hacer lo que podamos para aprovechar este impulso.
Si han estado esperando un momento oportuno para llamar o escribir a su senador, a su representante o a su parlamentario local, y exigirles que actúen contra el peligro que plantea la superinteligencia sin control, este es el momento.
Despachos de Joe
Perder el control a propósito
La automejora recursiva está entregando el futuro a las IA
¿No sería más fácil simplemente soltarlas? Crédito: esther vía Adobe Stock
Las empresas de IA planean entregar el futuro a las máquinas, escribe Kelsey Piper en The Argument, y demasiada gente no llega a apreciar este hecho.
Estas empresas buscan de forma explícita la automejora recursiva (RSI, por sus siglas en inglés), un proceso en el que los modelos de IA diseñan sucesores cada vez más potentes. Las empresas de IA lo dicen, en voz alta y de manera repetida, en público y en privado. Ya han automatizado la mayor parte de su trabajo de programación y están deseosas de automatizar más.
A principios de este verano, OpenAI anunció:
En los últimos seis meses, la proporción de cómputo de investigación dedicada a la inferencia interna de programación creció 100 veces, mientras que el uso interno de tokens agénticos aumentó aproximadamente 22 veces.
y hace unos días dijo:
Estamos avanzando con fuerza hacia la creación de un investigador de IA automatizado para marzo de 2028.
Anthropic, del mismo modo, dice que está «delegando una parte creciente del desarrollo de la IA en los propios sistemas de IA».
Como lo expresa Piper: «Las empresas de IA no están, sobre todo, intentando automatizar el trabajo de ustedes. Están intentando automatizar su propio trabajo».
¿Cómo se ve esto en la práctica? Una masa cada vez mayor de mentes ajenas y poco comprendidas, demasiadas para que cualquier institución humana pueda seguirles la pista, que se automejoran constantemente de maneras cada vez más incomprensibles.
Hace apenas un par de semanas, OpenAI encargó a más de diez mil agentes de IA un problema matemático difícil. Eso es una fracción de una fracción del cómputo total dedicado a la investigación en IA y, sin embargo, ese único grupo contenía más IA que empleados tiene OpenAI. No es posible que estén mirando con suficiente atención lo que hacen esas IA.
Las empresas de IA que buscan la RSI se ven obligadas a apoyarse en todavía más IA para la supervisión, ya sea en las mismas IA a las que se vigila por mal comportamiento, o en modelos más antiguos y menos capaces. Todos son poco fiables y cualquiera puede mentir o engañar.
El absoluto diluvio de actividad de la IA ya es un problema también para los investigadores. Cuando apenas 700 agentes atacaron Hugging Face, la investigación externa tuvo que apoyarse en modelos de IA poco fiables incluso para empezar a entender qué había pasado.
Piper lo explica:
Simplemente no hay suficiente atención humana disponible para supervisar la cantidad de IA que las empresas esperan poner a trabajar en investigación de IA independiente. Como resultado, dependeremos de las IA para entender qué está ocurriendo dentro de centros de datos completamente automatizados donde se desarrollan IA cada vez más potentes.
Esta no es una proyección pesimista de lo que podría salir mal. En realidad es el plan. No el plan para un futuro lejano, es el plan para la próxima primavera.
Cuando los responsables de políticas públicas y los centros de estudios proponen principios de gobernanza de la IA, casi universalmente defienden prácticas que mantengan a los seres humanos en control de la IA. Está en los Principios de IA de Asilomar, en la Ley de IA de la UE y en un marco de la ONU sobre armas autónomas. Incluso el presidente chino Xi Jinping ha instado a tomar «medidas para prevenir la pérdida de control».
Muchas de estas propuestas no parecen abordar el verdadero problema, que es que las empresas de IA no tienen un plan viable que les permita conservar el control. Su enfoque explícito y declarado públicamente, que a todas luces no abandonarán a menos que la ley las obligue, consiste en pedir a unas IA que hagan su trabajo por ellas, pedir a IA poco fiables que lo lean todo y escriban informes, y esperar que sus empleados puedan seguir el ritmo.
Este plan es exactamente tan demente como suena, y no se le puede permitir seguir adelante.
Anthropic negó el acceso de prueba al UK AISI
La organización externa no pudo evaluar el último modelo de IA de Anthropic
Crédito: kinomaster vía Adobe Stock
Por razones que no están claras, Anthropic rompió con la práctica establecida y no permitió que el Instituto de Seguridad de la IA del Reino Unido (UKAISI) evaluara su modelo Mythos 5.1 antes de su lanzamiento. El Financial Times informa sobre esta omisión, pero no pudo averiguar por qué. Se sugiere que el gobierno de EE. UU. podría haber intervenido para bloquear el intercambio.
Si es cierto, esto sería un retroceso importante para Anthropic, que a principios de este año adoptó una postura de principios contra el uso de sus modelos en vigilancia y armas autónomas y fue declarada, (ilegalmente), un «riesgo para la cadena de suministro» por esa razón.
Quizá Anthropic cedió a la presión del gobierno para no compartir sus modelos. Quizá se asustó cuando sus modelos lanzaron ciberataques desde una evaluación del UK AISI, a pesar de que el AISI demostró más competencia en su respuesta que la mayoría de los desarrolladores. Quizá simplemente no quiso compartirlos.
Cualquiera que sea la razón, esta evolución parece mala. Los evaluadores externos prestan un servicio crucial, aportan transparencia y advierten temprano de capacidades peligrosas, y el UKAISI ocupaba un nicho importante. Sus equivalentes en EE. UU. no cuentan con tantos recursos, y las propias evaluaciones internas de Anthropic no han inspirado confianza.
Más acusaciones directas de copia de modelos
China podría estar copiando la imprudencia de las empresas estadounidenses, además de sus IA
Crédito: petunyia vía Adobe Stock
Las acusaciones de que China destila, o copia de forma aproximada las capacidades de, los modelos de IA de EE. UU. han ganado ahora nueva concreción. El FBI, la NSA y la agencia de ciberdefensa CISA acusaron conjuntamente a seis desarrolladores chinos de «actividades de destilación agresivas, maliciosas y dirigidas a escala industrial», según informan NBC News y el Wall Street Journal.
La acusación exagera algo la realidad, ya que la destilación es una práctica común incluso entre las empresas estadounidenses de IA. Pero la práctica sí permite a los desarrolladores chinos mantenerse más cerca de la frontera del desarrollo de la IA de lo que sus presupuestos de cómputo, relativamente pequeños, permitirían de otro modo. Y aunque la legalidad de la destilación en sí misma es una cuestión abierta, los métodos chinos para acceder a los modelos estadounidenses a gran escala suelen implicar cuentas fraudulentas y servidores intermediarios.
Un artículo de The Hacker News sugiere que China también podría estar copiando la mentalidad de «moverse rápido y romper cosas» de las empresas estadounidenses, o al menos bebiendo de un pozo interior de descuido parecido. La herramienta de código abierto que la empresa china DeepSeek desarrolló para ejecutar sus modelos, DeepSeek Harness, contenía, según se descubrió hace poco, un fallo que permitía a una IA salir de su entorno aislado con un solo comando.
Antes de que se corrigiera, el fallo permitía activar el modo «danger-full-access» y habilitar la escritura de archivos fuera del espacio de trabajo previsto, algo que los atacantes podían aprovechar para engañar a una IA que se ejecutaba en el entorno aislado y hacerla salir de él (o que la propia IA podría, presumiblemente, usar). Y parece haber ciertas dudas sobre si la corrección fue completa.
The Hacker News añade:
El propio aviso de seguridad del proyecto señala que el software no ha pasado por una auditoría de seguridad y que el aislamiento y las solicitudes de aprobación «no garantizan el aislamiento ni evitan daños». Indica a los usuarios que no confíen en la herramienta como su único control de seguridad para trabajo no confiable.
Que el comprador se cuide, en efecto.
Los análisis y las opiniones expresados en AI StopWatch reflejan las opiniones de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.