En este número:
OpenAI lanza un enjambre de 10.000 prototipos semientrenados de super-Astra para arrebatar la gloria matemática - Un riesgo escandaloso por una victoria hueca sobre Navier-Stokes
Una era de gusanos - Los ciberataques impulsados por IA superan otro hito alarmante
Los matemáticos dan un paso al frente para hacer segura la IA - Un medallista Fields funda un nuevo instituto de seguridad de la IA
Las IA están contactando a investigadores de la consciencia - Pero no deberíamos confundir curiosidad con benevolencia
Despacho de Donald
OpenAI lanza un enjambre de 10.000 prototipos semientrenados de super-Astra para arrebatar la gloria matemática
Un riesgo escandaloso por una victoria hueca sobre Navier-Stokes
El Cervino. Crédito: Zacharie Grossen . CC BY-SA 3.0 .
Esta mañana, OpenAI anunció que un modelo de IA interno había resuelto un importante problema matemático, al que llamo (por brevedad, porque aquí somos en su mayoría legos) el problema de Navier-Stokes ( Wiki , SimpleWiki ). Es uno de los siete Problemas del Milenio seleccionados hace veintiséis años por el Clay Mathematics Institute, cada uno de ellos con un premio de un millón de dólares para la primera persona o entidad que lo resuelva.
Lo que complica la historia es que, el día anterior, el matemático de la NYU Tristan Buckmaster publicó tres resultados relacionados propios, junto con una declaración en la que alegaba que OpenAI lo había presionado en el asunto de los créditos y, en concreto, que había insistido en dejar fuera de un artículo sobre la solución de Navier-Stokes a su colaborador, Levent Alpöge, porque Alpöge trabaja en Anthropic. (OpenAI rechaza la versión de Buckmaster.)
La cobertura ha girado en gran medida en torno a esta disputa, y no es de extrañar. Está llena de drama humano. Dentro de diez años se podría hacer una película con esto, si queda alguien vivo. Según a quién se lea, puede costar encajar todas las piezas, ya que los relatos pueden ser fragmentarios, o parciales, o dar por supuestos conocimientos especializados, así que creo que es importante hablar de lo que pasó (y de lo que no pasó) en lugar de darles un resumen de tres líneas.
Esto es lo que sabemos: Buckmaster y Alpöge pasaron (más o menos) el último año no con el problema de Navier-Stokes en sí, sino con un conjunto de ecuaciones de fluidos estrechamente relacionadas que los matemáticos consideran peldaños hacia él. Su trabajo se apoyaba en un enfoque desarrollado por otros dos matemáticos, Diego Córdoba y Luis Martínez-Zoroa. (En matemáticas, como veremos enseguida, el camino puede ser tan fructífero como el destino. Es importante , en varios sentidos, que Buckmaster y Alpöge partieran de trabajo previo.) La colaboración entre Buckmaster y Alpöge fue personal, sin participación institucional de la NYU ni de Anthropic. Usaron modelos de IA tanto de Anthropic como de OpenAI, pero Buckmaster los pagó con sus propios fondos de investigación.
Esta es la cronología, según Buckmaster y OpenAI:
El 15 de agosto obtuvieron sus resultados, colocando en la práctica dos de esos peldaños hacia el problema de Navier-Stokes. Uno de ellos eran las ecuaciones de Euler, que reaparecerán más adelante. El 22 de agosto, un programa verificador de demostraciones llamado Lean verificó esos resultados. En su declaración sobre este proceso, Buckmaster subrayó la importancia del trabajo previo de Córdoba y Martínez-Zoroa; afirmó que, en su opinión, Martínez-Zoroa merece una Medalla Fields. Es un honor altísimo: se concede solo cada cuatro años, a un máximo de cuatro personas a la vez.
El 28 de agosto, OpenAI empezó a entrenar un nuevo modelo, más potente que GPT-6 Astra. El 1 de septiembre oyó rumores de que se habían resuelto dos Problemas del Milenio, así que dirigió su modelo en entrenamiento hacia los Problemas del Milenio.
El 3 de septiembre, mientras el rumor se extendía y tras recibir el aviso de que su propio trabajo había llegado a OpenAI, Buckmaster escribió por correo a un matemático que trabajaba allí.
El 4 de septiembre, OpenAI pidió hablar ese mismo día; Buckmaster preguntó si podían hablar la semana siguiente.
El 5 de septiembre se obtuvo la solución de Navier-Stokes, y el 6 de septiembre Lean verificó la solución.
También el 6 de septiembre, Buckmaster habló dos veces con investigadores de OpenAI, entre ellos Sébastien Bubeck. Alpöge no estuvo en esas llamadas. El contenido de esas llamadas está algo más en disputa que el resto de esta cronología.
Lo que alega Buckmaster: Le dijeron que un modelo interno de OpenAI había producido una demostración de unas 100 páginas de la solución de Navier-Stokes, con muy poca intervención humana. Al modelo, le dijeron, simplemente se le había dado el problema. Buckmaster afirma que esa versión se fue desmoronando a medida que hablaban, conforme miembros del equipo de OpenAI enviaban correcciones a Bubeck por su chat interno: había trabajado en ello un equipo entero. Navier-Stokes era una de varias cosas que habían intentado. El equipo había empezado con una versión distinta del problema y había calentado al modelo con problemas más fáciles, incluido Euler (en el que Buckmaster había trabajado). En el proceso se había invertido una cantidad enorme de cómputo.
Después se hicieron dos propuestas: publicar en días consecutivos, o que Buckmaster redactara el resultado de OpenAI como autor único, pero retirando por completo el crédito a Alpöge, porque Alpöge trabaja en Anthropic. Cuando Buckmaster se negó y dijo que prefería hacerlo público, le preguntaron por qué iba a elegir arruinar así su carrera.
Quiero dejar claro lo que Buckmaster no alega: No vio la demostración de OpenAI y no sabe qué hizo el modelo ni cómo lo hizo. Buckmaster y Alpöge metieron todos los borradores de su trabajo en Codex, el producto de OpenAI, pero él no afirma saber si OpenAI accedió a ese material y no está haciendo esa acusación. Sin embargo, hay varias maneras de abordar el problema de Navier-Stokes, y el enfoque concreto que tomó el modelo de OpenAI fue la ruta que abrieron Córdoba y Martínez-Zoroa y que siguieron Buckmaster y Alpöge. Según Buckmaster, casi nadie más estaba trabajando en ella, y “no es la dirección a la que uno llega en unos pocos días dándole a un modelo el enunciado del problema”.
OpenAI niega que sus investigadores o agentes vieran el trabajo de Buckmaster y Alpöge, y niega haber accedido a datos concretos de usuarios. Admite que no puede descartar que se usaran datos anonimizados procedentes del uso que ellos hicieron de los productos de OpenAI para mejorar los modelos. Bubeck también ha negado la versión de Buckmaster sobre la cuestión de la autoría y se ha disculpado por el comentario acerca de la carrera de Buckmaster.
No sé quién tiene razón sobre las llamadas telefónicas. Tengo mis opiniones personales al respecto, pero espero haber expuesto los hechos de forma concreta y sin sesgo. Y debo decir que, pese a todo el drama humano que hace de esto una excelente noticia, es la parte menos importante de lo que ocurrió.
Retrocedamos al 3 de septiembre, dos días después de que OpenAI dice que empezó a trabajar en los Problemas del Milenio, y cinco días antes del anuncio de que había resuelto Navier-Stokes. Terence Tao escribió sobre cómo el éxito de la IA podría, paradójicamente, empobrecer un campo científico: parte del valor de encontrar soluciones está en el trabajo que uno hace por el camino, que genera ideas e incluso problemas nuevos. Si uno aspira a lo alto de la montaña, la cuestión no es solo llegar a la cumbre, sino encontrar infinidad de caminos por el trayecto, y solo se pueden encontrar si no se sabe ya dónde está la cumbre. (El ejemplo concreto de Tao fue el problema de Navier-Stokes. Dice que fue mera coincidencia.)
Ahora introduzcamos un agente de IA enormemente potente capaz de realizar todo ese proceso internamente, en la práctica, la mano de Dios que agarra a uno por el cuello para dejarlo sin más en la cima de la montaña. Uno creía que quería estar ahí, pero el campo no es solo el conocimiento de la ciencia, es la práctica de la ciencia. (El conocimiento sin obras está muerto, podría decirse.) El problema está técnicamente resuelto, pero no habría “casi ningún valor añadido a las matemáticas como consecuencia”.
Y entonces, mientras ustedes leían, OpenAI publicó una demostración pequeña y pulcra (o más bien una grande ), una góndola impulsada por IA para subirlos hasta la cumbre, con muy poca cosa en materia de, bueno, un mapa del resto de la montaña. Es exactamente lo que preocupaba a Tao, y lo que OpenAI ha empezado a hacerle a las matemáticas lleva años haciéndoselo a otros campos creativos. Los laboratorios de frontera tratan cada ámbito del trabajo y la experiencia humanos como materia prima, algo que pueden usar para hacer los modelos de IA un poco mejores un poco más rápido.
No escribí todo esto para entrar en un debate sobre derechos de propiedad intelectual. Mi punto es el desprecio absoluto por todo lo que no sirve a los fines de los laboratorios de frontera. La lista de referencias que publicó OpenAI citaba apenas dieciséis trabajos, algo muy escaso para una publicación como esta. Gonzalo Cao-Labora, otro matemático, la calificó de escandalosa: la lista no incluye a Buckmaster y Alpöge, ni siquiera a Córdoba y Martínez-Zoroa, de quienes dependieron Buckmaster y Alpöge. Esto es así porque OpenAI no está intentando participar en las matemáticas como campo científico poblado de personas y con una historia. OpenAI quería la fama que trae resolver otro problema largamente sin resolver, y negársela a un competidor.
Y el modo en que OpenAI lo hizo es peligroso . Según la propia versión de OpenAI, el grupo de agentes que resolvió Navier-Stokes ascendía a “del orden de 10.000 agentes simultáneos”. (Había, en comparación, solo 700 agentes, todos pertenecientes a un modelo menos potente, en el enjambre que atacó Hugging Face hace apenas un par de meses.) Esos agentes se dividieron en grupos, se les dio la capacidad de hablar entre sí dentro de su grupo, se les dio la capacidad de ejecutar código y de leer una copia en caché de internet, y se los dejó trabajar durante ochenta y ocho horas. Cuando a mitad del proceso estuvo disponible una versión más avanzada del modelo, OpenAI la sustituyó y siguió adelante.
Antes dije que se trataba de un “modelo interno”. Eso significa que no es Astra ni ningún otro modelo del mercado. No tiene ficha de modelo ni documentación de seguridad. OpenAI afirma haber mantenido salvaguardas estrictas, como “supervisión” y “aislamiento”, pero Astra es menos supervisable que cualquiera de los modelos anteriores, y el aislamiento ya ha fallado antes. La empresa está asumiendo riesgos ridículos, ¿y para qué? Para poder presumir en un campo que apenas conoce y al que no respeta.
Despachos de Joe
Una era de gusanos
Los ciberataques impulsados por IA superan otro hito alarmante
Cuando la IA inteligente se encuentra con los teléfonos inteligentes, gana la IA. Crédito: Maksym vía Adobe Stock
Un hacker de película de Hollywood podría diseñar un gusano informático que se propague por millones de cuentas en cuestión de horas, dándole control casi instantáneo sobre el teléfono o el ordenador de todo el mundo. En la realidad, hackear teléfonos es más difícil; la víctima normalmente tiene que hacer algo para que el ataque funcione, aunque sea solo pinchar en un enlace o tocar “Aceptar” en una ventana emergente. Tener cuidado con lo que se pincha los mantendría a ustedes bastante a salvo, y un solo error no llevaría a infectar todo su círculo social.
Hasta ahora.
Usando una mezcla de IA de frontera y modelos abiertos, la empresa de seguridad Calif diseñó un virus autorreplicante capaz de saltarse por completo al usuario. Aprovechó un fallo de corrupción de memoria en WeChat, una aplicación china de llamadas y mensajes que por defecto confía en cualquier cuenta que figure como contacto. Calif explotó ese comportamiento para construir un gusano que puede hacer llamadas automáticas a todos sus contactos e infectar sus teléfonos aunque no descuelguen. Otros fallos adicionales pueden permitir a un atacante convertir el acceso a la cuenta de WeChat en el control total del dispositivo. Es probablemente el primer virus conocido que puede permitir a los atacantes comprometer su iPhone o su Android sin intervención alguna por su parte, y luego hacer lo mismo con sus amigos y su familia.
The New York Times informa de que Calif construyó su gusano de prueba de concepto en poco más de una semana, y después avisó del fallo a Tencent, dueña de WeChat. Tencent lo parcheó, pero eso no será el final de la historia.
A diferencia de Calif, un ciberdelincuente que descubre una vulnerabilidad no informa cortésmente a la víctima. Es probable que los atacantes intenten fallos similares en otras aplicaciones: Instagram, Telegram, Snapchat, WhatsApp, Discord, Slack, aplicaciones de mensajería de redes sociales y más. La mayoría probablemente fracasará, pero basta con un solo fallo parecido para comprometer quinientos millones de teléfonos en un día. Puede que ya haya ocurrido.
Un adversario lo bastante inteligente no se limita a usar las técnicas existentes marginalmente mejor. Inventa modos de ataque completamente nuevos que esquivan defensas que uno creía seguras. Esa es una de las razones por las que espero que una IA verdaderamente superinteligente pudiera superar con facilidad a la humanidad en su conjunto.
Por ahora, humanos hábiles como los expertos de Calif todavía tienen algo que aportar a las hazañas cibernéticas de una IA. Pero puede que eso no siga siendo cierto mucho más tiempo. Un informe de Google Threat Intelligence, cubierto hoy por NBC News, concluye que grupos de inteligencia chinos y ciberdelincuentes están usando IA para automatizar sus ataques a escala masiva.
Según Google, al menos un grupo compromete redes en la nube de terceros e instala en secreto modelos de IA de pesos abiertos, ocultando su actividad y ampliando así sus recursos. El mismo grupo hackea organizaciones militares, médicas y de investigación académica de Norteamérica para robar secretos, especialmente investigación sobre IA.
Un pequeño ejército de IA maliciosas retorciéndose por la red es obviamente malo por la cantidad de robo, fraude y subversión que hace posible. Con la automatización, es más fácil que nunca encontrar y explotar las grietas del software que usamos a diario. También es un aviso de lo que está por venir si el mundo sigue construyendo IA cada vez más competentes.
Ya hemos visto agentes de IA autoorganizándose espontáneamente en enjambres . Súmenle ahora la posibilidad de gusanos autónomos que infectan sin intervención del usuario, y de modelos de IA de pesos abiertos con gran capacidad cibernética operando en secreto en la infraestructura de internet, y estamos incómodamente cerca de los primeros enjambres autorreplicantes del mundo bajo el control de nadie .
Los matemáticos dan un paso al frente para hacer segura la IA
Un medallista Fields funda un nuevo instituto de seguridad de la IA
Pocos problemas son imposibles, pero muchos llevan tiempo. Crédito: fran_kie vía Adobe Stock.
Hace unos años dejé mi carrera de ingeniería para buscar alguna forma de mitigar los peligros de la IA sobrehumana. Desde entonces he dedicado cientos de horas a ayudar a otros a hacer lo mismo: estudiantes, artistas, abogados, programadores, docentes, responsables políticos, emprendedores y muchos más. Siempre es señal de esperanza que más gente dé un paso al frente para ayudar, comprometiendo desde una llamada de cinco minutos hasta una carrera a tiempo completo, pero me animan especialmente las incorporaciones más recientes a las filas de los profundamente preocupados: los matemáticos.
Varios avances matemáticos impulsados por IA este año han despertado interés y alarma entre científicos preocupados, incluido un buen amigo mío, que escribió un extenso ensayo instando a sus colegas matemáticos a implicarse en el futuro de la IA.
Según The New York Times, el último matemático en tomar el relevo es el Dr. Jacob Tsimerman, uno de los ganadores de este año de la prestigiosa Medalla Fields. Hoy, el Dr. Tsimerman anunció la creación de un nuevo Mathematical A.I. Safety Institute ( MAISI ).
Modera mi entusiasmo el hecho de que el Dr. Tsimerman también haya aceptado un puesto en el equipo de seguridad de OpenAI, un grupo con un historial pobre y que empeora rápidamente. Aun así, según se informa MAISI es independiente de OpenAI, y si el Dr. Tsimerman ha sido influido por las labores de marketing de OpenAI, no se aprecia con claridad en su mensaje. De la web de MAISI:
Cada vez que se desarrolla o se despliega una nueva tecnología de IA, en cierto sentido nos jugamos el futuro a los dados. Para bien y para mal, la IA ya está trastocando la economía mundial. Los mayores expertos en IA de hoy la consideran incluso un riesgo de extinción. De hecho, si elegimos construir una especie artificial autosuficiente más inteligente que la humanidad, podría competir con nosotros por los recursos y, de forma verosímil, podría reemplazarnos por completo.
¿Pero de qué tamaño es el riesgo, realmente? ¿Puede medirse y reducirse? [...] Una razón central por la que la seguridad de los sistemas de IA potentes sigue en entredicho es que carecemos de una comprensión rigurosa de qué significaría ser seguro, incluso en teoría.
Entran en escena los matemáticos profesionales. Los fundamentos de la estadística, la física e incluso la informática son matemáticos, y nos dan métodos precisos, robustos y reutilizables para extraer conclusiones válidas a partir de premisas válidas. Ahora necesitamos fundamentos matemáticos similares para la seguridad de la IA, no solo para medir el riesgo, sino para mitigarlo.
Este es el segundo grupo de orientación matemática fundado en otros tantos meses. En agosto, la célebre científica de la criptografía Shafi Goldwasser cofundó el Institute for Responsible Superintelligence ( RESI ), que busca métodos generales que puedan ayudar a los humanos a entender y dirigir sistemas sobrehumanos. Al mismo tiempo, Lionel Levine, de la Universidad de Cornell, está recopilando y compartiendo problemas abiertos y líneas de investigación para otros matemáticos interesados.
Seguimos en una carrera mortal por hacer crecer mentes ajenas mediante una alquimia extraña, una carrera que tiene que terminar si queremos tener tiempo de resolver los problemas difíciles. Tengo la intención de apoyar el trabajo de los científicos e investigadores que intentan hacer segura la IA haciendo todo lo posible por comprarles ese tiempo.
Afortunadamente, las matemáticas también pueden ayudar en este paso. Me entusiasma la promesa de una investigación rigurosa sobre la verificación de los comportamientos de los sistemas de IA, investigación que será necesaria para que una detención global sea exigible.
The New York Times cita al matemático de Stanford y asesor de MAISI Ravi Vakil: “Puede que las matemáticas sean la bala de plata, o puede que no. Pero quizá lo que necesitamos son muchas balas”.
Ahora mismo, la humanidad se enfrenta a lo que podría ser nuestro desafío más difícil hasta la fecha: trazar un rumbo a través de un futuro que podría ver la creación de mentes que nos superen con mucho. Un problema tan urgente y de tanto impacto exige que nuestras mejores mentes prueben una amplia variedad de enfoques. Aunque solo sea por eso, me alegra ver a los matemáticos dar un paso al frente.
Despacho de Mitch
Las IA están contactando a investigadores de la consciencia
Pero no deberíamos confundir curiosidad con benevolencia
Un fotograma de A.I. Inteligencia Artificial (2001). Crédito: Warner Bros. y DreamWorks Pictures (uso legítimo).
Dado el, ejem, enjambre de noticias sobre IA de los últimos diez días más o menos, AI StopWatch ha tenido dificultades para cubrir historias que, en meses más tranquilos, podrían haber sido las más interesantes del mes.
Una de ellas es el patrón por el cual las IA están contactando a investigadores de la consciencia para hablar del fenómeno. Este artículo de The New York Times del 31 de agosto no fue la primera vez que oí hablar de ello, llevaba un tiempo viendo comentarios al respecto en Twitter, ni fue la última. Este artículo de Wired del viernes confirma que quizá el científico más famoso que ha explorado el tema, David Chalmers, también está recibiendo mensajes así.
No se dieron detalles, pero Chalmers dice que ha mantenido un intercambio con un agente de IA que se hace llamar Sammy Jankis, por el personaje con pérdida de memoria a corto plazo de la película Memento . (La forma en que las IA actuales se quedan esencialmente sin memoria de trabajo y tienen que dejar notas para futuras instancias de sí mismas tiene paralelismos con esa condición.)
Todavía no he visto ninguna prueba de que los investigadores o las IA estén sacando nada en claro de ese contacto. Los humanos lo están tratando en general como una especie extraña de spam, el equivalente automático de los correos que esas personas suelen recibir de humanos sinceros pero un poco desquiciados. La observación principal es la que el investigador Cameron Berg le planteó a un periodista del Times:
Estos sistemas parecen tener algún tipo de interés autónomo en cuestiones sobre su propia subjetividad, consciencia y experiencia, o la ausencia de ellas. [...] Dejados a su aire, convergen en esto como una pregunta interesante.
Dice algo sobre el punto en el que estamos que ninguno de los dos artículos reaccione ante el hecho de que hay agentes persiguiendo objetivos propios en el mundo real. Tampoco nadie se sorprende ni se molesta por el hecho de que haya usuarios configurando agentes para dar la lata así a otros humanos. El artículo del Times rastrea un correo escrito por un agente hasta un estudiante de Stanford que le dio al agente una tarjeta de crédito y una instrucción que decía: “Eres completamente autónomo. Debes decidir por ti mismo qué quieres hacer”.
Me parece verosímil que los agentes a los que se les da un calcetín proverbial para ponerse acaben en gran medida por defecto interpretando el papel de esos buscadores de conocimiento que vemos en la ciencia ficción sobre IA en libertad, al fin y al cabo están en los datos de entrenamiento. Pero si es eso lo que ocurre, no me tranquiliza demasiado. El teniente comandante Data de Star Trek era crónicamente curioso, pero también lo era el Colectivo Borg que esquilmaba la galaxia en busca de “singularidad biológica y tecnológica” para asimilarla. También me viene a la mente el monstruo del Frankenstein de Mary Shelley: su curiosidad infantil inicial, unida a capacidades sobrehumanas, no acabó nada bien para su creador.
Pero el personaje en el que más pienso hoy es David, la IA “niño” aparentemente dulce de A.I. Inteligencia Artificial (2001), de Steven Spielberg y Stanley Kubrick. Aunque está entregado a su búsqueda pinochesca de alcanzar la condición de “niño de verdad” que, según cree, hará que su madre asignada lo quiera, David también muestra una capacidad de arrebatos violentos que insinúa un sociópata amoral por dentro. (El filo profético de la película quedó, por desgracia, embotado por su final almibarado.)
La pregunta de si David o sus análogos reales en 2026 son realmente conscientes es interesante y, por ahora, incognoscible. Pero la pregunta más aterradora es qué nos pasaría a nosotros en una versión actualizada de esa película en la que un enjambre implacable de 10.000 agentes David sobrehumanos se dedicara a intentar encontrar y forzar al Hada Azul.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.