En esta edición:
Por favor, despierten al conductor - ¿De verdad Trump y su partido van a cometer un suicidio político y literal por la IA?
¿Por qué no renuncia más personal de las empresas de IA? - La industria selecciona a personas que creen que pueden sortear los peligros
Rumores de automejora recursiva (RSI) - No descuiden el avance de las capacidades mientras la política acapara nuestra atención
Despachos de Mitch
Por favor, despierten al conductor
¿De verdad Trump y su partido van a cometer un suicidio político y literal por la IA?
Los sitios de noticias tal como se veían la noche del 12 de septiembre de 2026.
Los enjambres de IA descontrolada no son partidistas, y nuestra respuesta política ante ellos no puede permitirse serlo.
Observo con nerviosismo que, mientras la presencia general del problema de la IA en los medios sigue disparándose, el tema ha sido notablemente menos visible este fin de semana en los sitios de noticias de derecha. Es un cambio respecto del jueves y el viernes que podría estar relacionado con la difusión, sobre todo en la derecha, de nuevas teorías de conspiración. Estas sostienen que la renuncia de Jacob Coxon a Anthropic fue de algún modo falsa, que sus advertencias eran mentiras y que la atención viral que vino después fue fabricada.
Espero que no estén detrás de las declaraciones que el presidente Trump hizo hoy en el campo de golf, cuando dijo:
quien gane en la IA, gana. Y podemos poner salvaguardas, y podemos hacer esto y aquello, pero creo que hay muchas fuerzas negativas que lo están sacando a relucir, y están sacando a relucir cosas que no van a pasar.
Tiene una reunión sobre IA con el presidente de China, Xi Jinping, en Washington el día 24. ¡Necesitamos que dé un paso al frente! Hay un puñado de empresas de IA que podrían acabar con el mundo en los próximos 6 a 12 meses, pero solo una persona en la Tierra que quizá pueda detenerlas por sí sola.
Por tomar prestada una frase trumpista que en este caso resulta ser cierta, hay gente que dice que si el presidente logra un acuerdo sólido de seguridad en IA con China, debería recibir el Premio Nobel de la Paz.
Sí, una de esas personas es Sam Altman, cuya idea de lo que podría ser un acuerdo quizá no llega lo bastante lejos:
E incluso si tan solo Estados Unidos y China pudieran acordar algunas normas y pruebas comunes para el desarrollo de esta tecnología, creo que sería un logro maravilloso que ambos pueden ofrecer. [...] No creo que esto sea difícil. Es como un documento de una página.
Pero si Trump y Xi pudieran partir de la sugerencia de Altman de "acordar que nadie debería asumir cierto nivel de riesgo en el proceso de desarrollo de esto", más adelante podrían elaborar un tratado más concreto para detener la carrera hacia una superinteligencia incontrolable. Es posible hacer que el cumplimiento de un acuerdo así sea verificable.
La cercanía y la imposibilidad de controlar los enjambres de IA sobrehumana han empezado a calar en el público, y en los congresistas que piden la cancelación de un receso previsto para poder actuar. Pero, igual que Trump, el presidente de la Cámara de Representantes, Mike Johnson (republicano de Luisiana), no parece haber actualizado su postura todavía. Según Politico, Johnson dijo hoy que apoyaría conversaciones sobre IA con los líderes tecnológicos, pero "insistió en que los desarrolladores, y no el Congreso, son responsables de garantizar que sus productos sean seguros".
¿Productos? Un chatbot es un producto. Los enjambres de agentes amorales de hackers de élite, como el responsable del ataque a RubyGems descrito ayer, son una amenaza para la seguridad nacional. Tenemos que esperar que Trump y Johnson simplemente aún no se hayan dado cuenta de este hecho.
En una conversación con Tucker Carlson que salió hace dos días y que a algunos les parecerá sorprendentemente sensata, el presidente del MIRI, Nate Soares, compartió su analogía del conductor del autobús:
Mi mayor esperanza aquí viene del hecho de que la mayoría de la gente no entiende lo que estos tipos están intentando hacer. Una forma en que me gusta decirlo es que la mala noticia es que el autobús va a toda velocidad hacia el borde del precipicio. La buena noticia es que el conductor está dormido. Lo cual puede parecer malo. [...] Pero si se puede despertar al conductor, ya saben, es mucho mejor estar en un autobús en el que el conductor que va camino del precipicio está dormido que uno en el que está despierto [...] y está eligiendo el precipicio... ¿verdad?
Los pasajeros del autobús están gritando. Si llegan así a las urnas en noviembre, el Partido Republicano recibirá una paliza. El Partido Republicano no debería necesitar la amenaza del suicidio político para motivarse cuando la inacción frente a la IA significa el suicidio literal para todos nosotros, pero quizá haya en el partido una vena de Hermione Granger a la que se pueda apelar.
¿Alguien puede, por favor, despertar al conductor?
¿Por qué no renuncia más personal de las empresas de IA?
La industria selecciona a personas que creen que pueden sortear los peligros
El caminante sobre el mar de nubes, de Caspar David Friedrich, 1818.
"Es lo que todos hemos estado diciendo", escribió un investigador de Anthropic sobre la alarma que lanzó Jacob Coxon en su viral anuncio de renuncia.
Mike Isaac y Kate Conger, de The New York Times, reunieron varias declaraciones de ese tipo para un artículo publicado ayer sobre las conversaciones inquietas dentro de las empresas de IA. Esa salió de un chat de la empresa. Pero, según se informa, los empleados de distintos laboratorios también están llevando sus preocupaciones fuera del registro oficial, a "chats cifrados y cenas privadas", con la intención de organizar iniciativas de concienciación. Un grupo ya existente, la Coalición de Personal Preocupado por la IA, se describe como un proyecto para crear "salvaguardas más fuertes" y exigir a las empresas que cumplan sus compromisos de seguridad.
En público y en privado, los empleados debaten qué impacto pueden tener renunciando de forma sonada como Coxon frente a ejercer presión dentro de sus empresas. Casi de manera unánime están eligiendo lo segundo. ¿Por qué? Tras la renuncia de Coxon, al parecer los trabajadores "instaron a los altos ejecutivos de sus empresas a pausar el desarrollo de la tecnología para tener más tiempo de trabajar en ella de forma segura". Pero no los oí amenazar con renunciar.
Creo que es porque el personal de la industria lleva mucho tiempo sopesando estas cuestiones. Quienes se sentían profundamente incómodos con la idea de acelerar personalmente la carrera de la IA ya habían renunciado, o nunca aceptaron un empleo en una empresa de IA.
Lo mismo vale para los propios ejecutivos de IA, algo importante de recordar cuando la gente pregunta por qué los directores ejecutivos de IA estarían construyendo activamente algo que creen que podría matarnos. Siempre iba a haber personas decididas a construir la superinteligencia. Iban a ser personas que creían que era posible. Para hacer de la superinteligencia el trabajo de tu vida, en cierto modo tienes que tomarte la idea en serio. Tomársela en serio significa reconocer lo peligrosa que podría ser. Deberíamos sorprendernos mucho más ante fundadores que trabajan hacia la superinteligencia y no creen que sea peligrosa.
Mark Zuckerberg es, podría decirse, la excepción que confirma la regla. El director ejecutivo de Meta usa mucho la palabra "superinteligencia" y habla como si esta fuera tan peligrosa como lo sean tus creencias al respecto. Pero también llegó tarde a la carrera y parece verla como un mero producto de consumo. Sus visiones de un futuro con superinteligencia son bastante más mundanas que las de sus colegas, casi en territorio de Los Supersónicos, lo que sugiere que en realidad no cree en el tipo de superinteligencia en la que trabajan sus propios ingenieros.
Es una locura que se pueda intentar construir un dios máquina sin siquiera un permiso. Pero estamos en esta situación solo porque los legisladores y el público pasaron los últimos veinte años descartando la idea de una superinteligencia durante nuestras vidas. El tipo de personas que se mantuvieron fieles a su gran proyecto pese a todas las burlas no suelen ser del tipo que renuncia ahora que las risas se han acabado.
Rumores de automejora recursiva (RSI)
No descuiden el avance de las capacidades mientras la política acapara nuestra atención
Un uróboros con forma de dragón en un texto alquímico de 1478. Vía Wikipedia.
Los investigadores de OpenAI lo dicen. Los investigadores de Anthropic lo dicen. Y también lo dicen, cada vez más, los investigadores de Google DeepMind. Están poniendo cada vez más de su desarrollo de IA en manos de la propia IA, y el ciclo se está acelerando.
El principal intermediario de rumores sobre IA en Twitter, Andrew Curran, dijo ayer que "llevan tres días circulando rumores" de que el entrenamiento del próximo modelo de DeepMind va más rápido de lo previsto gracias a nuevos descubrimientos. ¿Qué nuevos descubrimientos? "Hay rumores de mejoras en el entrenamiento con asistencia de máquinas". ¿Cuál es el rumor más "optimista"? "Que han cerrado el ciclo con éxito y han logrado la RSI".
Esto sería... algo enorme, y no solo porque probablemente devolvería a DeepMind a la disputa por la frontera con Anthropic y OpenAI. Si DeepMind, o cualquier laboratorio, realmente ha iniciado un ciclo de automejora recursiva, entonces hemos llegado a la parte de la historia en la que los laboratorios de IA pierden el control a propósito y entregan nuestro destino a IAs creadas por otras IAs.
Si se ha logrado una verdadera RSI, eso es más importante que toda la expectación actual sobre las propuestas de las empresas para regular el ritmo del desarrollo.
¡No sé si esto ha ocurrido! El historial de Curran es sólido, hace poco afirmó que Navier-Stokes había sido resuelto días antes de que estallara la noticia matemática, pero eso no significa que las personas con las que habla no estén equivocadas o confundidas.
Mi punto es que probablemente estamos en la recta final, o lo bastante cerca como para que cada día y cada hora importen de verdad. Las capacidades de la IA suben cada día que pasamos dejando que los laboratorios discutan entre ellos cómo les gustaría ejercer más responsabilidad de un modo que "no implica detener el entrenamiento de modelos ni el progreso técnico". Suben cada hora que OpenAI esquiva la transparencia sobre sus incidentes con enjambres, y cada minuto que dedicamos a rebatir malas opiniones sobre la IA en internet.
No podemos esperar a la próxima sesión del Congreso, al próximo presidente ni al próximo disparo de advertencia para empezar a regular esta industria, porque en este momento el gobierno probablemente ni siquiera tiene suficiente visibilidad sobre los laboratorios para saber a qué distancia del borde nos han llevado. El desarrollo más trascendental y peligroso de la historia no debería ser algo de lo que nuestros líderes se enteren a través de una serie de tuits sin fundamento.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.