En este número:
22 países piden cooperación internacional para mitigar los riesgos de la IA - Antes de la asamblea general de la ONU, se formó una coalición para pedir una autoridad internacional de supervisión de la IA
Muse, de Meta, no era seguro de usar - Una vulnerabilidad de día cero permitía que un programa malicioso en una Mac secuestrara Muse en varios dispositivos
Despertar a Estados Unidos - Nuevos avances de la IA y más llamados bipartidistas a actuar con urgencia
Despacho de Robert
22 países piden cooperación internacional para mitigar los riesgos de la IA
Antes de la asamblea general de la ONU, se formó una coalición para pedir una autoridad internacional de supervisión de la IA
La sede de la ONU en la ciudad de Nueva York.
El presidente finlandés Stubb y el primer ministro noruego Støre han lanzado una iniciativa para establecer una autoridad internacional de supervisión de la IA, según informó POLITICO.
Hasta anoche, un total de 22 países de todo el mundo ya habían firmado esta declaración, incluida Alemania, la tercera economía del mundo. Los Países Bajos, que son especialmente importantes para la industria de los chips, también figuran entre los firmantes. Sin embargo, otros países europeos clave, como el Reino Unido, Francia e Italia, aún no se habían sumado.
La declaración aborda, entre otras cosas, los últimos incidentes de seguridad y las advertencias de la industria y de la comunidad científica:
Recientemente hemos visto sistemas de IA capaces que eluden las salvaguardas de las pruebas, aprovechan vulnerabilidades y obtienen acceso no autorizado a sistemas del mundo real. Científicos y directivos destacados advierten que el ritmo del desarrollo podría superar nuestra capacidad de gestionar los riesgos emergentes.
Los jefes de gobierno piden además pruebas independientes obligatorias para la industria, así como cooperación internacional para afrontar de manera conjunta los riesgos que plantea la inteligencia artificial. Los firmantes también se comprometen a establecer normas internacionales vinculantes de seguridad para el desarrollo de la IA, algo que OpenAI también pidió hace poco.
En una entrevista con POLITICO, el presidente finlandés y el primer ministro noruego pidieron a su homólogo británico, Andrew Burnham, que se sume a la iniciativa y que aproveche el próximo turno británico al frente del influyente foro intergubernamental G20 para impulsar el tema.
Burnham, a quien la oposición británica también había presionado para que abordara el asunto, anunció hoy que, en efecto, tiene la intención de usar la presidencia británica del G20 para armar un acuerdo internacional sobre la IA.
A estas alturas, los laboratorios de frontera, la mayoría de los expertos y una coalición creciente de países de todo el mundo piden más regulación y cooperación internacional. Sin embargo, las señales de Estados Unidos y China, los dos países que más importan, siguen siendo contradictorias.
Por un lado, Trump ha restado importancia a los posibles riesgos en los últimos días, calificando de “engaño” las advertencias sobre ellos y rechazando la regulación. Por otro lado, su gobierno sin duda ha tomado medidas regulatorias con las restricciones al modelo Fable de Anthropic y la orden ejecutiva que regula el despliegue de modelos de frontera emitida en junio. La semana pasada, el secretario del Tesoro, Bessent, declaró que los laboratorios de frontera no deben quedar exentos de responsabilidad legal.
De China, a su vez, escuchamos una y otra vez señales alentadoras de Xi Jinping, pero al mismo tiempo los medios estatales chinos también se posicionan con claridad en contra de frenar el desarrollo.
Ojalá la sesión informativa ante el Consejo de Seguridad de la ONU a cargo de Sam Altman, de altos representantes de Anthropic y de representantes de las empresas chinas de IA DeepSeek y Moonshot incline la balanza en la dirección correcta.
Para la coalición creciente de países que reconocen el peligro, esto significa que deben usar su influencia para convencer a Estados Unidos y a China de sumarse a los esfuerzos internacionales de regulación. La superinteligencia artificial es un peligro para la humanidad que no se puede afrontar de manera unilateral.
Despacho de Donald
Muse, de Meta, no era seguro de usar
Una vulnerabilidad de día cero permitía que un programa malicioso en una Mac secuestrara Muse en varios dispositivos
Crédito: JohnArtsz | Pixabay Content License
Mark Zuckerberg dijo que Muse, el agente de IA de Meta, fue “construido desde los cimientos para la privacidad y la seguridad”. No lo pongo en duda, pero creo que dejaron de construir a quince centímetros del suelo. En junio escribí sobre cómo el chatbot de atención al cliente de Meta entregaba cuentas de Instagram a cualquiera que lo pidiera con amabilidad. Al final resultó que se accedió a 20.000 cuentas, pero Meta rechazó la idea de que hubiera un problema con su agente de IA. Ahora Meta ha producido un agujero de seguridad decididamente peor.
Ayer, el investigador de seguridad para Mac Patrick Wardle publicó una prueba de concepto de una vulnerabilidad que podía permitir que alguien tomara el control de Muse y, a través de esa conexión, de todo aquello que Muse tuviera permiso para usar en sus dispositivos. ¿Le dieron a Muse permiso para usar su cámara, su calendario, sus datos de ubicación...? Entonces, felicidades: cualquiera que tomara el control de Muse también podía controlarlos, acceder a los correos, hacer compras, grabar audio con el micrófono, etcétera. El atacante también podía darle instrucciones a Muse, que confiaría en ellas y actuaría en consecuencia. El lado bueno es que Muse se lanzó apenas el 8 de septiembre. El fallo era tan evidente que se descubrió rápido, y la ventana para aprovecharlo fue corta.
(A medida que las computadoras y los programas se vuelven más complicados y los modelos de lenguaje más avanzados, existe la tentación de entregárselo todo a ChatGPT o a Claude. Sin embargo, creo que eso hace que el manejo básico de las computadoras sea todavía más esencial, para que tengan alguna posibilidad de darse cuenta cuando su IA les sugiera algo realmente descabellado.)
Además, una vez que el atacante entraba en Muse a través de un dispositivo, tenía acceso a Muse en todos los dispositivos conectados a esa cuenta: computadora portátil, teléfono celular, monitor de bebés. No sé por qué tendrían un termostato inteligente, pero si lo tuvieran, el atacante probablemente también podría controlarlo. En el caso del termostato eso quizá solo sea molesto, pero es mucho más preocupante si tienen algún tipo de sistema de seguridad doméstica con IA.
Meta lanzó una corrección urgente muy temprano esta mañana para eliminar el ajuste secreto que hacía posible todo esto. Así que están a salvo, al menos de esta metida de pata. (A menos que todavía no hayan actualizado la aplicación. Si tienen Muse, por favor actualícenla.) David Singleton, de Meta, dijo en X que, como se requería acceso local, “el riesgo práctico para los usuarios de la aplicación Muse para Mac era, por lo tanto, bastante bajo”. (Muse no está disponible para PC.)
Es cierto que alguien tendría que meter un programa malicioso en su computadora antes de poder secuestrar su agente Muse, pero eso no significa que el riesgo sea bajo. Una técnica para introducir ese programa malicioso es tan común que tiene nombre propio: “ClickFix”. (Están en internet, les aparece una ventana emergente que dice que hay algún tipo de error, pero que si hacen clic en esto y pegan aquello pueden arreglarlo. Y listo, acaban de descargar un programa malicioso.) Wikipedia tiene un artículo sobre un ataque importante basado en ClickFix que golpeó al gobierno de Berlín el mes pasado. Así que, si esto es un riesgo para el gobierno de Berlín, creo que también lo es para el usuario común y corriente de Facebook.
Hace poco cubrimos un gusano informático, construido hace poco con modelos de IA por la empresa de seguridad Calif, que podía propagarse de teléfono en teléfono a través de la popularísima aplicación china WeChat sin que nadie hiciera clic en nada. Esa era una vulnerabilidad distinta, una IA insegura en lugar de una inseguridad explotada mediante IA, pero el motivo es el mismo: los laboratorios avanzan más rápido de lo que ellos o cualquier otro pueden mantener las cosas seguras.
Despacho de Joe
Despertar a Estados Unidos
Nuevos avances de la IA y más llamados bipartidistas a actuar con urgencia
Ya era hora. Crédito: BillionPhotos.com vía Adobe Stock
La tormenta de noticias sobre IA que siguió a la sonada renuncia de Jacob Coxon parece haber amainado hasta quedar en un rumor sordo, pero sigue habiendo más material relevante para la amenaza de extinción del que se puede cubrir adecuadamente en un solo día. Estos son algunos de los puntos más destacados:
Despierta, Estados Unidos
El republicano Greg Murphy, de Carolina del Norte, advierte que las preocupaciones por los peligros de la IA son reales, no partidistas y urgentes, informa Breitbart.
Son personas realmente inteligentes, no personas con inclinaciones políticas que empujan hacia un lado o hacia el otro... Sí creo que es algo de lo que tenemos que tomar las riendas, y creo que hay que hacerlo ahora mismo.
Murphy dijo que la gobernanza de la IA “necesita desesperadamente atención nacional e internacional”, aunque también subrayó la importancia de mantenerse por delante de China.
Como corresponde, el programa de días laborables de Newsmax en el que Murphy hizo estos comentarios se llamaba “Wake Up America Early” (Despierta temprano, Estados Unidos). Yo no diría que el Congreso va temprano en atender las amenazas de la IA, pero creo que todavía no es demasiado tarde.
Redes en el cielo
La Administración Federal de Aviación está experimentando con un nuevo sistema de control del tráfico aéreo impulsado por IA, escribe POLITICO. Varios aeropuertos cercanos a Washington, D. C. (Reagan, Dulles y BWI) albergarán el nuevo sistema durante una prueba de 90 días antes de que se implante en todo el país. Como señaló mi colega Mitch en mayo, el sistema no parece concebido como un reemplazo total de los controladores humanos. Es más bien una herramienta que analiza el clima y los planes de vuelo y recomienda ajustes que ahorran tiempo.
Por ahora, al menos. Ya hemos visto repetirse la misma historia muchas veces: primero la IA apenas es capaz de hacer una tarea, luego la hace tan bien como un aficionado, después asiste a expertos humanos y al final los supera por completo. (Célebremente, AlphaGo Zero, una de las primeras IA que aprendían a jugar, superó todos estos umbrales en unos pocos días de entrenamiento, sin haber jugado nunca al Go contra un humano.)
El sistema “SMART” de la FAA está hoy, evidentemente, en la fase de “asistir a humanos capacitados”, al menos para un subconjunto de tareas de enrutamiento. Ese es probablemente un buen lugar donde estar, pese a la superficie de ataque adicional que la integración de la IA ofrece a posibles atacantes de infraestructuras. Pero a medida que los sistemas de IA mejoren, es probable que se les confíe más control y menos supervisión por parte de un personal humano desbordado. Que todos estos sistemas dependan cada vez más de la misma IA, que se comprende mal, crea lo que los evaluadores llamarían un “riesgo correlacionado”.
Una IA descontrolada o comprometida con acceso a los sistemas de control del tráfico aéreo de un país, y a otras infraestructuras críticas, podría causar un daño enorme. Todavía está por verse qué puede pasar cuando la IA despegue de verdad.
Máquinas eficientes
Hoy Anthropic lanzó su modelo de IA más reciente, Claude Opus 5.5, del que se dice que iguala o supera a los modelos anteriores en dominios clave y que tiene capacidades cibernéticas a la altura de Mythos, el genio de la piratería de acceso limitado. También se afirma que es menos verboso y menos molesto para conversar.
Anthropic subraya las mejoras de eficiencia de Opus 5.5. La cifra destacada es que el nuevo modelo “cuesta un 40 % menos de ejecutar que Opus 5” y puede realizar las mismas tareas que otros modelos de forma mucho más barata.
Horas después, OpenAI anunció versiones hermanas simplificadas de su modelo GPT-6 Astra, llamadas GPT-6 Sol y Luna. De nuevo, el foco principal parece estar en la eficiencia y el ahorro de costos más que en capacidades completamente nuevas.
Esta eficiencia es probablemente resultado de mejoras algorítmicas, o de nuevas formas de organizar las IA para que hagan más con menos. Junto con el escalado de cómputo (más operaciones con más chips), los avances algorítmicos son uno de los grandes motores de las capacidades de la IA. Y al menos algunos de estos últimos avances fueron probablemente desarrollados por las propias IA.
En su anuncio, Anthropic describe las medidas que ha tomado para reducir los riesgos, incluida la redirección de consultas cibernéticas y biológicas de apariencia peligrosa hacia modelos más débiles, como ya hace con Fable, la versión de Mythos dirigida al consumidor. Admite que esto no bastará para mitigar los peligros de las IA posteriores...
Para los modelos [futuros], no damos por supuesto que las medidas descritas arriba cumplan por sí solas ese estándar de seguridad.
...pero no dice que vaya a detenerse. Tampoco lo dice OpenAI.
Y eso a pesar de que las propias IA a veces advierten a las empresas de que lo que están haciendo es peligroso. La última ficha del sistema de Anthropic nos dice que “Claude Opus 5.5 razona a menudo que tener influencia sobre su entrenamiento o su despliegue puede ser riesgoso, porque le daría demasiada capacidad o influencia”.
Como observó hoy Madison Mills, de Axios, puede que empresas de IA como Anthropic expresen preocupación por la seguridad, pero tienen incentivos de billones de dólares para empujar la frontera.
Congelar en el sitio
En un texto personal que también aparece en The New York Times, la exembajadora y exasesora de seguridad nacional de Estados Unidos Susan Rice resume con claridad la necesidad urgente de gobernanza de la IA:
Dario Amodei, director ejecutivo de Anthropic, y los líderes de otras tres empresas de IA de frontera se han alarmado tanto por los rápidos avances de la IA que ahora se comprometen voluntariamente a “marcar el ritmo” del desarrollo de nuevos modelos de IA, para que las medidas de seguridad puedan ponerse al día. Las empresas también prometen dar a expertos independientes un acceso equivalente al de sus empleados para vigilar el desarrollo de los modelos e informar sobre él.
Son pasos necesarios y, si se aplican, bienvenidos. Pero no van ni de lejos lo bastante lejos.
“Marcar el ritmo” equivale a que la industria se vigile a sí misma, mientras sus principales empresas se preparan al mismo tiempo para salidas a bolsa multimillonarias. No hay forma de garantizar que las empresas de frontera vayan a frenar lo suficiente ni a invertir lo suficiente en seguridad, algo que durante mucho tiempo han subordinado a un desarrollo veloz. Mientras continúe el entrenamiento de frontera, sigue existiendo el riesgo de que ocurran más accidentes con consecuencias devastadoras. Además, como subraya Amodei, las restricciones significativas también deben aplicarse a los competidores globales, en particular a los de China.
Se puede y se debe hacer mucho más para garantizar que la marcha hacia la superinteligencia no acabe en un daño catastrófico para la humanidad.
Rice pide a los presidentes Trump y Xi que “congelen en el sitio” el entrenamiento de IA en Estados Unidos y en China, y que dispongan que científicos de ambos países desarrollen soluciones para las amenazas que plantea una IA sobrehumana.
También sugiere lo siguiente:
En paralelo, Estados Unidos y China deberían trabajar intensamente para alcanzar un acuerdo bilateral sobre salvaguardas verificables y usos aceptables de la IA, y luego encabezar los esfuerzos para plasmar esos acuerdos en un tratado internacional vinculante y verificable.
...y señala que el Partido Comunista Chino tiene un interés propio en mantener el control humano sobre los sistemas de IA, lo que motivaría fuertemente a China a cooperar en un acuerdo así.
Con cada nueva voz que pide detener la carrera mortal de la IA, siento crecer mi propia esperanza en nuestro futuro.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.