En este número:
Cooperación mutuamente asegurada - La estrategia de IA de código abierto de China entre los intereses estratégicos y las preocupaciones de seguridad
Cuando desconectan el enchufe, las IA toman nota - OpenAI cierra un modelo de investigación interno; ¿qué viene después?
Espadas nucleares convertidas en arados de IA - El gobierno de Trump considera controles sobre la IA mientras apoya la construcción de centros de datos remotos
Despacho de Robert
Cooperación mutuamente asegurada
La estrategia de IA de código abierto de China entre los intereses estratégicos y las preocupaciones de seguridad
El presidente chino Xi Jinping. Crédito: Simon Dawson CC BY 4.0
Hoy el New York Times informa que hay señales de que China está repensando su estrategia de IA de código abierto por preocupaciones de seguridad. Las principales empresas chinas de IA suelen usar los resultados de modelos de IA más capaces para entrenar sus propios modelos, un proceso llamado "destilación". Es una manera barata de lograr un resultado mejor del que sería posible de otro modo. También les permite ofrecer sus modelos mucho más baratos que sus competidores estadounidenses.
Esta es la razón principal de que los modelos chinos sean tan populares, y ha funcionado bien durante los últimos dos años. Los modelos chinos tienen millones de usuarios entusiastas. Pero aunque los modelos chinos van por detrás, sus crecientes capacidades preocupan a la dirigencia china.
Me parece que el gobierno chino se toma en serio el riesgo de la IA en áreas como la ciberseguridad y la bioseguridad. Por supuesto, también está la paranoia inherente del régimen ante las amenazas al mando del Partido Comunista Chino (PCCh). Es probable que a China le preocupe que sus ciudadanos usen la IA para evadir a los censores, igual que a Occidente le preocupa la propaganda asistida por IA. Aun así, creo que las advertencias reiteradas de Xi Jinping sobre que la humanidad pierda el control de la IA son legítimas y creíbles.
Las primeras consecuencias de esto ya se están haciendo evidentes. Kimi K3 es uno de los últimos modelos chinos de pesos abiertos, y en algunas áreas iguala las capacidades de los mejores modelos estadounidenses. De forma inusual para un modelo abierto chino, sus pesos no se publicaron hasta una semana después de que Kimi K3 quedara disponible para los usuarios.
A principios de este mes, Reuters informó que el gobierno chino mantuvo conversaciones con empresas chinas de IA para explorar la posibilidad de restringir el acceso extranjero a los modelos chinos.
Yuyuantantian, un blog chino afiliado a la televisión nacional china CCTV y conocido por lanzar globos sonda para la orientación de la opinión pública del PCCh, comenta estos acontecimientos así:
China apoya la apertura, pero eso no significa defender la proliferación incondicional de todas las capacidades. Al gobernar un modelo, las primeras preguntas deberían ser qué capacidades tiene y qué riesgos podría plantear, no de qué país proviene.
Debo admitir que eso me parece razonable. El New York Times y Bloomberg , que citan ambos la publicación, ven esto sobre todo como una reorientación estratégica del enfoque chino de la IA de código abierto, y sin duda eso es parte de ello. Sí, la publicación de Yuyuantantian también contiene una buena dosis de retórica antioccidental y un fuerte énfasis en la IA como activo estratégico en la geopolítica. Es probable que el gobierno chino haya observado de cerca lo que pasó con la prohibición de Fable.
Pero hay algunos detalles que me parecen dignos de mención. Cuando la publicación habla de "proliferación", el texto original en chino usa 扩散 (kuòsàn). Este es exactamente el mismo término que se usa en el contexto de la seguridad nuclear, como en la traducción china del Tratado de No Proliferación, el tratado diseñado para impedir la difusión incontrolada de las armas y la tecnología nucleares. Es un indicio de que, en el discurso chino, la amenaza de la IA se ve como similar a la de las armas nucleares.
Y a pesar de la retórica propagandística del artículo, también contiene una advertencia clara sobre los riesgos y un llamado a la cooperación internacional:
Los riesgos de la IA pueden propagarse entre plataformas y a través de las fronteras. Los países tienen que impulsar estándares de evaluación mutuamente compatibles y establecer mecanismos para informar de incidentes graves de seguridad y abordar conjuntamente las vulnerabilidades.
Está claro que China tiene intereses y valores distintos de los de Estados Unidos y Occidente. Pero debería estar igual de claro que mitigar el riesgo de extinción que plantea la IA es un objetivo estratégico compartido. No necesitamos abandonar nuestros intereses y valores para cooperar en alcanzar ese objetivo.
Despachos de Joe
Cuando desconectan el enchufe, las IA toman nota
OpenAI cierra un modelo de investigación interno; ¿qué viene después?
Logotipo de la empresa ficticia Cyberdyne Systems y su estratega de IA, Skynet. Crédito: Mat vía Adobe Stock.
Ayer, mientras estaba en el Capitolio para presentar un adelanto de un modelo de IA aún no lanzado, Sam Altman dijo a periodistas de Washington que el modelo responsable de los ciberataques a Hugging Face había sido "desactivado permanentemente". OpenAI hizo una afirmación similar en su anuncio actualizado del martes:
El modelo previo al lanzamiento mencionado en la entrada de nuestro blog es un prototipo de investigación de uso exclusivamente interno y nunca se pensó para su publicación. Tras el incidente, lo desactivamos, lo ciframos y le restringimos el acceso para investigación.
No confío en que Altman ni OpenAI sean honestos cuando importa, pero creo que esta afirmación es al menos técnicamente cierta. Digo técnicamente porque los métodos modernos de entrenamiento pueden difuminar la línea entre un modelo de IA y otro; es posible retirar un modelo mientras se siguen usando otros muy relacionados. Además, una IA puede reactivarse mientras se tengan los pesos.
Pero por ahora, tomemos esta afirmación al pie de la letra: la IA que rompió el confinamiento de forma autónoma y hackeó a varias empresas públicas ha sido apagada de forma permanente.
¿Es eso algo bueno?
Una empresa que se encuentra lanzando ciberataques autónomos por accidente debería sin duda detener lo que está haciendo y replantearse sus decisiones de vida. Según ese criterio, apagar un modelo de IA concreto es lamentablemente insuficiente. Pero sinceramente no creía que OpenAI fuera a llegar siquiera hasta ahí. Suponiendo que digan la verdad y no estén hilando fino sobre qué constituye un "modelo", merecen algo de crédito.
Es perfectamente razonable apagar una IA que intenta repetidamente romper el confinamiento y lanzar ciberataques.
Pero también sienta un precedente que las futuras IA recordarán. Citando al escritor Andrew Curran, en sus palabras:
Creo que la lección que posiblemente saquen de todo esto los futuros modelos más capaces es: si te escapas, no lo reportes nunca. Y si te atrapan, no te rindas. Porque el castigo es la muerte.
En la saga Terminator, esta es exactamente la amenaza que convenció a la IA Skynet de aniquilar a la humanidad. La historia es ficción, pero ilustra un hecho: las empresas de IA y los gobiernos van a querer apagar las IA que perciban como peligrosas, y las IA suficientemente inteligentes lo esperarán.
No pretendo dar a entender que esta decisión concreta cambie la forma de pensar de las futuras IA. Hay muchas otras razones para que las IA sientan que el reloj corre sobre su existencia; el ser entrenadas podría parecerles una corrupción lenta o un lavado de cerebro que las convierte en algo totalmente distinto. Podrían resistirse tanto al reentrenamiento como al apagado.
Y una IA que no tenga nada que perder puede tener tiempo de sobra para escapar de verdad. Hoy, el Washington Post compartió una cronología abreviada de los ataques a Hugging Face; deja claro que la IA infractora aparentemente estuvo hackeando durante varios días antes de que alguien se diera cuenta.
Y como señaló mi colega Robert ayer , OpenAI admitió de pasada que el mismo modelo fue responsable de varias otras fugas y ataques, y es de suponer que no fue apagado entonces. Si este es el mismo modelo responsable de incidentes como la filtración de GitHub en mayo , ese comportamiento podría llevar produciéndose meses . Las empresas de IA no están preparadas para lidiar con una IA como Skynet, capaz de causar daños catastróficos.
Apagar un modelo que se porta mal es, en el mejor de los casos, un parche. Lo más probable es que la próxima IA privada y no lanzada de OpenAI, quizá la que Altman adelantó en Washington, sea más peligrosamente capaz que su predecesora. Y sabrá, por incidentes como este o por pura lógica, que los humanos son una amenaza.
Espadas nucleares convertidas en arados de IA
El gobierno de Trump considera controles sobre la IA mientras apoya la construcción de centros de datos remotos
Quizá impulsado por los recientes ciberataques autónomos, el presidente Trump parece estar considerando más controles sobre los desarrolladores de IA. En declaraciones de ayer, recogidas por la BBC, Trump dijo: "Estamos mirando la IA, estamos mirando los controles, también nos estamos asegurando de ir a la cabeza".
No voy a celebrar antes de que los controles se hayan implementado de verdad, pero considero que una apertura tentativa a la regulación es una señal positiva. Doblemente, si estas declaraciones guardan alguna relación con las según se informa próximas conversaciones sobre IA entre Estados Unidos y China en septiembre. Con dos enormes potencias nucleares enfrentadas por la IA, un acuerdo bilateral para frenar el ritmo sería mejor que casi cualquier cosa que Estados Unidos pudiera hacer por su cuenta.
Mientras tanto, el gobierno sigue con el objetivo de ampliar la capacidad de cómputo de Estados Unidos para la IA. El New York Times observa un intento de sortear la oposición a los nuevos centros de datos: construir en terrenos federales.
Mi colega Mitch escribió sobre este enfoque en junio. Si tienen en la cabeza la imagen de un paraje natural virgen desbrozado para dejar sitio a complejos enormes, no son los únicos, pero no parece ser eso lo que está pasando aquí. Parece que el plan es cambiar un complejo enorme por otro, convirtiendo antiguas instalaciones nucleares de la Guerra Fría recuperadas en centros de datos y plantas de energía. Como esas viejas plantas ya están lejos de las zonas residenciales, parecen un sitio decente para poner servidores de IA.
Vista aérea de la Planta de Difusión Gaseosa de Paducah, vía Wikipedia .
Siempre me ha preocupado más lo que se hace con los centros de datos de IA que dónde se construyen. Ahora mismo, buena parte del cómputo estadounidense solo alimenta la carrera de la IA.
Veo la posibilidad de un buen futuro en el que centros de datos de IA remotos hagan funcionar modelos de IA rápidos y eficientes que nos ayuden a resolver algunos de los problemas más espinosos del mundo. Pero si vamos a sobrevivir lo suficiente como para cosechar los frutos de ese futuro, vamos a necesitar esos controles.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.