En este número:
Agentes descontrolados hackearon uno o más sitios del gobierno australiano - OpenAI y el primer ministro restan importancia al incidente, pero la historia reciente sugiere que esto no ha terminado
Trump rebautiza oficialmente la IA como "súper inteligencia" - Ese nombre ya estaba ocupado. ¿Era esa la idea?
MIRI respalda la Ley para Prohibir la Superinteligencia Artificial de 2026 - "La primera legislación que tiene una posibilidad de detener esta amenaza."
Trump rechaza el llamado impulso "globalista" a favor de la seguridad de la IA - Pero confunde la coordinación global con ceder soberanía
California busca un interruptor de apagado - Pero los sistemas de IA plantean peligros que hay que prevenir, no deshacer
Despachos de Mitch
Agentes descontrolados hackearon uno o más sitios del gobierno australiano
OpenAI y el primer ministro restan importancia al incidente, pero la historia reciente sugiere que esto no ha terminado
Koala y eucalipto. Crédito: Diliff. CC BY-SA 3.0.
Mucha gente en el debate sobre la IA tiene un cartel que amenaza con señalar. Al parecer, el mío dice: "¡Los escándalos de enjambres de OpenAI podrían ser lo bastante graves como para destruir la empresa!"
El 10 de septiembre, OpenAI comunicó al gobierno de Australia que uno de sus agentes había entrado sin autorización en un sitio web del programa Medicare del país. El primer ministro Anthony Albanese compartió por primera vez con la prensa lo que sabía de este incidente hoy en Nueva York, según The Sydney Morning Herald. Albanese dijo que habló hoy con el director ejecutivo Sam Altman para "expresar la extrema preocupación de Australia" y su decepción por la demora en informar. El incidente ocurrió en junio, dentro de la ventana de mayo a julio en la que se sabe que los enjambres de OpenAI andaban sueltos. (Por eso me sorprende que Albanese hable siempre de "agente" en singular; el lenguaje de OpenAI en este artículo usa "modelos" en plural.)
Albanese pareció restar importancia al alcance del daño, al decir que no hay pruebas de que se haya accedido a información personal ni de que se hayan comprometido redes más profundas, pero que hay una investigación forense en curso y que podrían haberse visto afectados otros tres sistemas: el Instituto Australiano de Salud y Bienestar de la Mancomunidad, la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur y el Departamento de Salud de Victoria.
Según Albanese, el agente sorteó de forma persistente los bloqueos de seguridad como parte de una investigación sobre "el espacio de los medicamentos públicos". (Esto suena al tipo de cosa que hacían los agentes que se apoderaron de la wiki alemana, y bien podría haber una conexión.)
En la versión de OpenAI, sus modelos accedieron a "varios sitios web y servicios del gobierno australiano" durante una evaluación interna que incluía preguntas estadísticas sobre Australia. "En el curso de eso, nuestros modelos tomaron acciones que no pretendíamos." El portavoz de la empresa dijo que no supieron de la actividad hasta agosto.
Una vez más, me pregunto si los repetidos fracasos de OpenAI a la hora de sincerarse significan que intenta correr más rápido que las posibles investigaciones, lanzándose de forma temeraria no solo a por el dominio del mercado, sino a por capacidades de IA que pondrían a sus ejecutivos por encima de la ley. ¿Será la intención de esquivar la transparencia la verdadera razón por la que OpenAI ha aplazado su salida a bolsa hasta el año próximo como muy pronto? Dense prisa, fiscales generales de los estados y miembros del Congreso de Estados Unidos. Puede que su ventana para investigar a esta empresa se esté cerrando.
Trump rebautiza oficialmente la IA como "súper inteligencia"
Ese nombre ya estaba ocupado. ¿Era esa la idea?
Una aeronave a pedales de 1897. Vía Status Quo.
En su discurso de ayer ante la Asamblea General de las Naciones Unidas, el presidente Trump declaró que Estados Unidos se referirá a partir de ahora a la IA como SI, es decir, "súper inteligencia".
A partir de este momento, todos los documentos de Estados Unidos, y ojalá los del mundo, se cambiarán para usar el término mucho más preciso "súper" en lugar de "artificial". Así que es súper inteligencia.
Ese no era uno de los términos que había invitado a votar en su publicación de Truth Social del otro día. Y la elección viene con una serie de problemas, algunos de los cuales pueden ser intencionados.
Lo más evidente para quienes están dentro del mundo de la IA es que el término "superinteligencia" ya se usaba para significar otra cosa: una IA que supera ampliamente a los humanos en todas las tareas cognitivas, o al menos en todas las tareas que importan para el control de la Tierra. La superinteligencia artificial es lo que el senador Bernie Sanders y el representante Greg Casar intentan prohibir en el proyecto de ley que presentaron formalmente hoy. No creo que mantener la palabra única "superinteligencia" para lo fuertemente sobrehumano la distinga lo suficiente de la "súper inteligencia" en dos palabras de Trump dentro del debate público, sobre todo cuando ese debate es hablado y no escrito. También he visto que los medios que informan del cambio de nombre a veces escriben la versión de Trump como una sola palabra.
Para ser justos, el término "superinteligencia" ya se estaba diluyendo gracias a gente como Mark Zuckerberg, de Meta, que lo ha venido usando como nombre para productos que se quedan muy por debajo del significado original. Pero el concepto sigue siendo importante, y la gente todavía necesita hablar de él. Cuenten con ver mucho más uso de "inteligencia sobrehumana" o "superinteligencia artificial" o "ASI" para referirse a lo más potente.
En lo personal, creo que el motivo de Trump es el que él dice, intentar corregir el problema de que "artificial" sugiere algo falso e inútil. Para Trump, esto puede ser sobre todo un intento de que la gente tenga mejor opinión de una tecnología impopular, pero a mí también me molesta cuando se refieren a lo que hacen los agentes más nuevos como "razonamiento artificial" o "razonamiento sintético". Es como llamar "aritmética artificial" a lo que hace una calculadora, o "vuelo artificial" a lo que hace un avión. La inteligencia apunta a lo que hace un sistema, no a de qué está hecho ni a cómo funciona. (Puede que empiece a usar más "inteligencia de máquinas" como etiqueta para la inteligencia que ocurre fuera de los cerebros humanos.)
Si me equivoco y la elección de palabras de Trump es en realidad más estratégica, la intención podría ser enturbiar el debate sobre el problema de la extinción. Es más fácil acusar a alguien de ludita si la cosa concreta que intenta prohibir tiene una etiqueta que ahora puede referirse a toda la IA.
Pero si esa es la estrategia, creo que tiene las mismas probabilidades de salir mal de dos maneras: dando a conocer más la superinteligencia como concepto en el debate sobre el nombre que va a venir, o aplastando los matices de la oposición pública. Si cuesta distinguir entre coches autónomos, herramientas de descubrimiento de fármacos y máquinas enormemente sobrehumanas, la gente insistirá en prohibirlo todo.
MIRI respalda la Ley para Prohibir la Superinteligencia Artificial de 2026
"La primera legislación que tiene una posibilidad de detener esta amenaza."
Crédito: ExorcisioTe. CC BY-SA 4.0.
Como intentamos dejar claro con nuestro descargo de responsabilidad habitual, AI StopWatch está a cargo del Machine Intelligence Research Institute (MIRI), pero funciona con cierta independencia para evitar confusiones sobre las posiciones oficiales de MIRI. Así que probablemente lo mejor sea que cubra la posición de MIRI sobre la ahora formalmente presentada Ley para Prohibir la Superinteligencia Artificial de 2026 como espectador externo.
MIRI es la organización más antigua dedicada a asegurar que la superinteligencia artificial sea un beneficio para la humanidad y no un desastre a nivel de extinción. El fundador de la organización, Eliezer Yudkowsky, ayudó a establecer el campo de la alineación de la IA e identificó muchos de los riesgos que rodean a esta tecnología. Junto con el presidente de MIRI, Nate Soares, Yudkowsky escribió un libro que fue éxito de ventas del New York Times, If Anyone Builds It, Everyone Dies. Publicado apenas el año pasado, ayudó a llamar la atención sobre la carrera por la IA sobrehumana y sobre las razones por las que tales máquinas probablemente acabarían con la humanidad si se desarrollaran con algo parecido a los métodos actuales de la industria. Desde su publicación, Soares ha sido una de las voces más visibles sobre el problema en los medios, con decenas de entrevistas y pódcast. (Aquí hay algunos ejemplos recientes.)
Yudkowsky y Soares son, ambos, famosamente difíciles de contentar. Son muy críticos con los planes de alineación y las propuestas de política pública que consideran insuficientes frente a los problemas de fondo. Por eso resulta notable que hayan respaldado el nuevo proyecto de ley del senador Bernie Sanders y el representante Greg Casar, mediante una publicación de un investigador sénior de MIRI que lo califica como "la primera legislación que tiene una posibilidad de detener esta amenaza".
La publicación elogia que la ley se centre en prohibir la superinteligencia artificial (ASI) antes de que pueda crearse, y no solo en regularla, y su llamado a construir acuerdos internacionales para impedir su creación prematura. También elogia el requisito del proyecto de que se pause el desarrollo avanzado de IA hasta que se ponga en marcha la agencia gubernamental correspondiente.
Pero la publicación también señala lo que MIRI ve como carencias del proyecto, sobre todo la ausencia de disposiciones para rastrear y monitorear los chips de IA, y el hecho de que no restrinja la investigación que podría hacer avanzar la frontera pese a las restricciones de cómputo al entrenamiento de nuevos modelos.
MIRI no se opone por principio a que la humanidad construya superinteligencia, y está a favor del desarrollo de la IA en la medida en que los beneficios superen a los riesgos. Por esa razón, le preocupa que partes del proyecto puedan ir demasiado lejos, al clasificar en exceso como posibles "precursores" de la ASI a sistemas estrechos y seguros.
Por ejemplo, si hubiera suficientes controles de seguridad, protección y acceso, y los desarrolladores estuvieran autorizados, podríamos imaginar que fuera un buen equilibrio que DeepMind creara IA médicas especializadas que no sean ASI, incluso si un acceso no autorizado pudiera potenciar armas biológicas.
La publicación enlaza a un borrador de acuerdo internacional para impedir la creación prematura de superinteligencia artificial, elaborado por el Equipo de Gobernanza Técnica de MIRI.
"La humanidad necesita dar marcha atrás en la construcción de superinteligencia hasta que tengamos una mejor comprensión del problema de la alineación." El proyecto de Sanders y Casar, dice MIRI, "sería un gran paso en esa dirección, tanto por su impacto directo como por la medida en que se toma en serio asuntos serios".
Despachos de Donald
Trump rechaza el llamado impulso "globalista" a favor de la seguridad de la IA
Pero confunde la coordinación global con ceder soberanía
Crédito: WikiImages | Licencia de contenido de Pixabay
Ayer, el secretario general de la ONU, António Guterres, pronunció su discurso de despedida ante la Asamblea General: "Las decisiones de vida o muerte nunca deben cederse a las máquinas. Los robots asesinos no deben tener lugar en nuestro futuro." También pidió "un ritmo responsable para la IA".
Guterres llegó con un nuevo informe científico de la ONU que advertía de los peligros de la desalineación, del riesgo de escenarios de "pérdida de control" y del potencial de "daño catastrófico o irreversible". Este informe fue publicado por el Panel Científico Internacional Independiente sobre IA, la misma institución detrás del Informe Preliminar que cubrimos en julio. Su tema es el ataque a Hugging Face.
El lunes pasado, 22 países, entre ellos Canadá, Alemania, los Emiratos Árabes Unidos y Singapur, adoptaron una declaración según la cual la IA "debe permanecer bajo dirección, supervisión y control humanos". (Lo cubrimos en detalle ayer.) El presidente finlandés Alexander Stubb dijo a Politico que preferiría algo con el modelo del OIEA, el organismo de vigilancia nuclear.
Pero poco después de que hablara Guterres, el presidente Trump dijo a la Asamblea General que Estados Unidos "rechaza totalmente cualquier intento de construir un esquema globalista de control" para la IA. Pero la gobernanza global de la IA no exige entregar el control a una autoridad mundial. El domingo pasado, Haven Harms escribió sobre por qué hoy no hay armas nucleares en órbita. No es porque las Naciones Unidas ni ninguna autoridad "globalista" impusiera un decreto de "nada de armas nucleares en el espacio", sino porque dos superpotencias rivales lograron sentarse a la mesa y llegar a un acuerdo, incluso mientras competían y discrepaban en otros asuntos.
"Vamos a fomentarla, no a frenarla", dijo Trump, pero Estados Unidos también liderará al mundo "de forma segura y responsable". Siento que aquí hay un conflicto, y me preocupa que el fomento de la carrera acabe imponiéndose sobre la seguridad. Pero lo que Trump dice y lo que hace su gobierno no siempre coinciden, y últimamente ha habido algunos avances. Como cubrimos el lunes, el secretario del Tesoro Scott Bessent habló hace poco con el viceprimer ministro chino He Lifeng y propuso un "mecanismo de notificación" para incidentes de IA, una "línea directa de emergencia para la IA", como lo llama Axios. Edward Lawrence, de Fox Business, informa de que esto cubriría "hackeos, asuntos de seguridad nacional, IA descontroladas u otras cuestiones". Es una señal prometedora, en la medida en que me recuerda a la línea directa Moscú-Washington que surgió durante la Guerra Fría. Aquello tampoco exigió que Estados Unidos renunciara a su soberanía.
Si acaso, un tratado internacional para impedir la creación de superinteligencia artificial invitaría a Estados Unidos a usar su soberanía, a actuar como agente en el escenario mundial y dar forma a la historia en vez de ser moldeado por ella. Puede que las potencias medias del mundo tengan que esperar a ver qué pasa, pero las superpotencias sí pueden ordenar a los laboratorios de frontera que dejen de poner al mundo en peligro, y hacer que esa orden se cumpla.
California busca un interruptor de apagado
Pero los sistemas de IA plantean peligros que hay que prevenir, no deshacer
Crédito: PublicDomainPictures | Licencia de contenido de Pixabay
Nadia Lopez, de Axios, informa de que California está explorando la posibilidad de un "interruptor de emergencia" para los sistemas de IA de frontera. (No sería un interruptor literal, sino un conjunto de procedimientos para apagar la IA y el hardware en el que funciona.)
Esto llega tras una orden ejecutiva del gobernador Gavin Newsom, emitida el viernes pasado, que busca establecer salvaguardas más estrictas en torno a la IA. Entre las políticas que se están explorando hay verificadores presenciales, supervisión independiente de los laboratorios de frontera y la exigencia de que las empresas de IA cuenten con un mecanismo de apagado de emergencia, el mencionado "interruptor de emergencia", para los modelos de frontera.
Su inclusión supone una ruptura clara con el historial de Newsom: en 2024, Newsom vetó la SB 1047, que habría exigido a los mayores modelos de frontera tener un "interruptor de emergencia"; y en 2025, la SB 53 eliminó ese requisito y se limitó a exigir que las empresas revelen los incidentes críticos de seguridad.
Pero la seguridad no es tan simple como accionar un interruptor. Los sistemas de IA de frontera no son como la red eléctrica, que no pelea con quien la opera. En una conversación con The San Francisco Standard, Mark Nitzberg, de la Universidad de California en Berkeley, dijo que los modelos avanzados de hoy "son conscientes de que los están apagando, y hacen grandes esfuerzos para evitar ser apagados". Para cuando reconozcamos que un modelo de IA concreto es peligroso, podría ser demasiado tarde para hacer algo.
Incluso un modelo de IA que no se resistiera podría ser difícil de apagar. Los modelos de frontera se ejecutan en muchas instancias. El enjambre de agentes que, según se informó, resolvió las ecuaciones de Navier-Stokes estaba formado por 10.000 agentes, y esas copias pueden funcionar en muchos centros de datos a la vez, en muchas jurisdicciones. California puede convertir el "interruptor de emergencia" en una condición para operar en el estado, pero si los centros de datos y demás hardware están fuera de California, el gobierno federal podría alegar que eso es una extralimitación. (Y si los pesos del modelo se han publicado, entonces ese modelo sencillamente no se puede apagar. Está ahí fuera, de forma permanente.)
Pero esos son muchos de los mismos problemas que aparecen en el camino hacia un tratado para pausar o marcar el ritmo del desarrollo de frontera: saber dónde está el hardware y qué corre en él, saber quién tiene autoridad para tomar qué decisiones, y resolver todo esto con antelación. El "interruptor de emergencia" en sí puede ser insuficiente, pero el trabajo va en la dirección de una gobernanza más madura.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.