En este número:
Más señales alentadoras del presidente chino - En su discurso principal en la Conferencia Mundial de IA, Xi Jinping señala el riesgo de "pérdida de control" pero da pocos detalles
La IA china sigue de cerca - Lo que las noticias aciertan y lo que no sobre la IA de pesos abiertos
Cierta coincidencia sobre lo que hace falta - El nuevo mapa de seguridad de la IA de Politico muestra puntos en común
Despacho de Donald
Más señales alentadoras del presidente chino
En su discurso principal en la Conferencia Mundial de IA, Xi Jinping señala el riesgo de "pérdida de control" pero da pocos detalles
La Conferencia Mundial de Inteligencia Artificial (WAIC, por sus siglas en inglés) es un encuentro internacional anual que se celebra cada julio en Shanghái: en parte feria comercial y en parte foro de gobernanza. Este año, Xi Jinping pronunció el discurso inaugural; fue la primera vez que asistió a la WAIC.
Para mí, la noticia principal es una sola frase que utilizó: "pérdida de control". Presto mucha atención cada vez que escucho eso de parte de quienes formulan políticas (como me pasó al leer el Informe Preliminar de las Naciones Unidas hace unas semanas). Las palabras finales de Xi pidieron al mundo "perfeccionar constantemente las medidas para prevenir la pérdida de control". El término utilizado es 失控; "pérdida de control" no es una glosa occidental ni una interpretación creativa, aunque no puedo estar seguro de que no haya alguna connotación específica que se haya perdido en la traducción. (Pueden encontrar la traducción oficial al inglés aquí .)
Xi también dijo que la IA debe permanecer "bajo control humano". No bajo el control del Estado, ni del Partido. Puede que eso sea solo retórica, pero el Partido Comunista Chino está formado por seres humanos. Cualquier mundo en el que los humanos hayan perdido el control de la IA es, por definición, uno en el que el gobierno chino también lo ha perdido. En ese sentido, los incentivos del Partido coinciden con los de todos los demás.
Esto importa porque la objeción habitual a un tratado internacional es que China no se sentará a la mesa. Un discurso como este es evidencia de que China está al menos dispuesta a conversar. Zvi Mowshowitz comenta :
Sin duda tienen en mente algo que favorecería su posición, y sus peticiones iniciales nos parecerán escandalosas e inaceptables. Así es como funciona esto. [...]
También es posible que Xi esté haciendo promesas vacías. [...]
La manera de averiguarlo y de aprovechar al máximo esta oportunidad es: empezar ahora.
No quiero exagerar los motivos de optimismo. El lenguaje de Xi sobre seguridad es de lo más corriente: sin umbrales de cómputo, sin evaluaciones, sin líneas rojas y sin un régimen de verificación. Se está dando prioridad a la apertura por encima de la seguridad; un compromiso con modelos de pesos abiertos que cualquiera puede descargar es difícil de conciliar con mantener a los humanos en control. No se puede retirar ni vigilar un modelo cuyos pesos se han hecho públicos.
Pero hay señales de que el gobierno chino percibe esa tensión. Este impulso llega en medio de un debate interno sobre los riesgos de seguridad de los modelos de pesos abiertos. El modelo chino de IA Kimi K3, anunciado recientemente , supuestamente es un modelo de pesos abiertos, pero los pesos no serán públicos hasta el 27 de julio. Mowshowitz cree que el retraso responde a motivos de seguridad, pero no lo sabemos con certeza.
En conjunto, creo que el discurso de Xi es una señal alentadora. No es exactamente lo que quiero, un tratado internacional para detener el desarrollo de la superinteligencia artificial, pero es el tipo de cosa que esperaría ver en el camino hacia allá.
Despacho de Joe
La IA china sigue de cerca
Lo que las noticias aciertan y lo que no sobre la IA de pesos abiertos
Crédito: Jacob Lund vía Adobe Stock
Se está poniendo de moda afirmar que China "alcanzó a Estados Unidos" cada vez que un laboratorio chino de IA publica un modelo nuevo e impresionante. No era cierto la vez anterior y sigue sin serlo hoy. Pero sí hay lecciones importantes que sacar de las historias en torno a la IA china, y solo algunas de ellas las he tratado antes .
Junto con un discurso del presidente chino Xi Jinping, la gran noticia de hoy es el lanzamiento de Kimi K3, de Moonshot AI. Con 2,8 billones de parámetros, es el modelo de IA más grande con pesos abiertos (cualquier persona en internet puede descargarlo). Es grande incluso para los estándares de los modelos de pesos cerrados, de tamaño similar (aunque probablemente no mayor) al de la mayoría de las IA estadounidenses punteras. Los modelos de este tamaño funcionan con equipos que cuestan cientos de miles de dólares, pero si se tiene acceso a ese equipo, el costo marginal de ejecutarlos es bastante bajo.
Laurie Chen, de Reuters, ofrece un análisis bastante bueno, pero recoge sin cuestionar algunas afirmaciones del laboratorio chino que merecen una mirada más detenida. Chen repite las afirmaciones de Moonshot sobre un rendimiento excepcional del hardware, afirmaciones que probablemente sean ciertas pero que solo se relacionan en parte con las capacidades de un modelo en la práctica. También informa del alto rendimiento de Kimi K3 en varias pruebas de referencia de IA (con frecuencia obtuvo mejores resultados que cualquier modelo salvo Fable, de Anthropic), pero omite mencionar que esas pruebas suelen ser ruidosas, seleccionadas a conveniencia y fáciles de manipular.
Chen extrae una conclusión inquietante:
Empresas como Moonshot, Z.ai y MiniMax están lanzando modelos cada vez más potentes a un costo mucho menor, lo que desafía supuestos arraigados en Occidente de que los desarrolladores chinos van meses por detrás de sus pares estadounidenses.
Pero según la mayoría de los cálculos, los desarrolladores chinos sí van meses por detrás de sus pares estadounidenses. La cobertura de Jamie John, del Financial Times, me parece más fundamentada, ya que cita un análisis reciente del Instituto de Seguridad de la IA del Reino Unido que sitúa la ventaja de Estados Unidos entre 4 y 7 meses, menor que en 2025, pero aún considerable.
Citando al mismo instituto, John señala la razón por la que los modelos de pesos abiertos pueden ser más peligrosos que los privados: una vez que un modelo de IA puede ser descargado por cualquiera a través de internet, esa decisión no tiene vuelta atrás. Y quienes actúan de mala fe y tienen acceso a los pesos de un modelo pueden eliminar con facilidad las protecciones incorporadas.
Como muchas IA en Estados Unidos y en China, Kimi K3 probablemente fue entrenado (o "destilado") al menos en parte con los resultados de algunos modelos estadounidenses punteros. Christopher Mims, del Wall Street Journal, señala que esta es una práctica común en la industria, aunque a menudo molesta a los principales desarrolladores de IA cuando se hace a gran escala.
Mims observa que los modelos de pesos abiertos de alto rendimiento, como Kimi K3, amenazan con reducir las ganancias de los laboratorios estadounidenses de IA. Esto tiene sentido: la gente a menudo elegirá un modelo de IA barato y suficientemente bueno antes que el mejor de su clase, que es caro.
Creo, sin embargo, que se equivoca cuando pasa a decir que el acceso a la electricidad es "el foso que más importará" para las empresas de IA. La electricidad sí importa, y dado que los intentos de construir nuevas centrales eléctricas en Estados Unidos suelen quedar sofocados por demandas ambientales, es posible que China vaya camino de alimentar sus propios centros de datos a menor costo.
Pero creo que sigue habiendo una diferencia enorme entre tener la IA más inteligente del mundo y tener la segunda mejor. No he oído historias de empresas estadounidenses destilando IA chinas para copiar sus capacidades preocupantes. Por una combinación de talento, chips y otros factores, las empresas estadounidenses de IA siguen impulsando la mayor parte del progreso en IA. Como lo expresó mi colega Mitch, es difícil correr más rápido que la propia sombra .
También creo que hay una diferencia enorme entre disputarse la cuota de mercado y competir por construir la próxima generación de IA. La mayoría de los laboratorios estadounidenses punteros intentan explícitamente crear sistemas ampliamente superiores a los humanos, y si la posibilidad de que sus creaciones extingan a nuestra especie no los detiene, tampoco lo hará perder algunos clientes ante China.
Despacho de Alana
Cierta coincidencia sobre lo que hace falta
El nuevo mapa de seguridad de la IA de Politico muestra puntos en común
Crédito: Wendy Wei vía Pexels
Politico intentó trazar un mapa de algunas de las principales facciones dentro de la seguridad de la IA, un término que ha pasado a significar muchas cosas distintas.
Podría discutir sobre las etiquetas y las agrupaciones, pero prefiero señalar que, incluso con el (cuestionable) desglose que creó Politico, hay una cantidad sorprendente de puntos en común. Cuatro de las siete categorías incluyen a personas muy preocupadas por el riesgo de extinción a causa de la IA. A nadie le gusta el término "seguridad de la IA". Y la mayoría de la gente piensa que deberíamos asegurarnos de poder mantener la IA bajo tutela humana. La principal excepción parece ser el grupo del llamado "que corra sin frenos", una elección extraña para incluir en una guía de campo sobre seguridad de la IA, ya que consideran que la seguridad se opone a la innovación.
Ciertamente, las personas mencionadas casi con seguridad discrepan sobre cómo mantener la IA bajo tutela humana. Algunas piensan que bastará con salvaguardas y controles de seguridad. Otras creen que hay que detener el desarrollo hasta que entendamos mejor cómo lograr de forma confiable que los sistemas de IA hagan lo que queremos. (He escrito sobre por qué las salvaguardas y los controles de seguridad disponibles no están actualmente a la altura de la tarea, y mi colega Robert escribió ayer mismo sobre los límites de las pruebas.)
Pero sigue habiendo un acuerdo amplio sobre un objetivo común, algo que desde luego no se puede dar por sentado. Eso me da algo de esperanza.
Un punto en el que sí discrepo con el artículo es en su descripción de Nate Soares, presidente del MIRI, como partidario de "cerrar por completo el desarrollo de la IA". Su posición, expresada con frecuencia , es que " lo único que hace falta detener aquí es esta carrera por crear superinteligencia artificial". En otras palabras, deberíamos dejar de desarrollar sistemas cada vez más potentes hasta que entendamos cómo dirigirlos de forma confiable; esto podría significar una pausa de décadas o más. Durante esa pausa, dice Nate, las empresas aún podrían desarrollar IA más acotada para ciertos ámbitos: cosas como la investigación del cáncer, el descubrimiento de fármacos y los autos autónomos.
Aunque el resumen que hace Politico de la postura de Soares no fue del todo correcto, la cita que incluyeron de él dio en el clavo:
Nunca me ha gustado el término "seguridad de la IA". Si van en un auto que se precipita hacia el borde de un precipicio, no es el momento de hablar de "seguridad automotriz". La seguridad automotriz tiene que ver con los cinturones; tiene que ver con las bolsas de aire; tiene que ver con las zonas de deformación; y nada de eso los salvará si el auto sale volando por el precipicio. Las empresas de IA están compitiendo por crear superinteligencia artificial, y las IA que están creando no están programadas con cuidado para seguir instrucciones; son un revoltijo de números entrenados que ni siquiera sus creadores entienden. Lo que necesitamos no es un poco más de "seguridad de la IA". Lo que necesitamos es detener esta carrera temeraria.
Los análisis y las opiniones expresadas en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.