En este número:
Por qué no hay armas nucleares en órbita - Superpotencias rivales trazaron una línea en la carrera espacial. Estados Unidos y China pueden hacer lo mismo con la IA.
Tres percances cinematográficos de la IA - Escenas de cliché de la película de ciencia ficción en la que vivimos
Anthropic elige a su supervisor - Accenture no es lo que la mayoría de la gente del sector tenía en mente
Publicación invitada de Haven Harms
Por qué no hay armas nucleares en órbita
Superpotencias rivales trazaron una línea en la carrera espacial. Estados Unidos y China pueden hacer lo mismo con la IA.
Arte conceptual de armas en el espacio (1984). Crédito: U.S. Air Force. Vía Wikimedia Commons.
Imaginen que salen a mirar las estrellas con sus hijos y uno de ellos ahoga un grito y señala algo que cruza el cielo a toda velocidad. “¡Miren! ¡Una de las plataformas nucleares! ¡Creo que esa es rusa! ¡Nos hablaron de ellas en la escuela!” Resulta inquietante, pero entonces recuerdan: al menos Estados Unidos también tiene armas nucleares orbitando sobre nosotros en todo momento. De hecho, varios países tienen arsenales nucleares en la órbita de la Tierra. Todo con normalidad. Miran la luna y se preguntan cómo era antes de estar llena de bases militares.
“Quizá las cosas podrían haber sido distintas…”, dicen, y la frase se apaga.
Por suerte, esta no es nuestra realidad.
Sin embargo, era un desenlace muy posible, quizá el desenlace lógico, de la carrera espacial de la Guerra Fría. Cuando el Sputnik cruzó el cielo en octubre de 1957, los estadounidenses vieron lo que se venía: si la Unión Soviética podía poner un satélite en órbita, también podía construir cohetes capaces de llevar ojivas nucleares de un continente a otro. Estados Unidos lanzó su primer satélite unos meses después y aceleró la competencia. Los dos países compitieron por desarrollar cohetes más potentes, misiles de mayor alcance y naves espaciales cada vez más ambiciosas. En 1961, el presidente John F. Kennedy comprometió a Estados Unidos a llevar estadounidenses a la Luna antes de que terminara la década.
Mientras Estados Unidos y la Unión Soviética competían por llegar a la Luna, las tensiones aumentaron a medida que se preguntaban qué pasaría si de verdad llegaban.
Si un astronauta estadounidense plantaba una bandera en la Luna, ¿creaba eso una reclamación territorial estadounidense? Si los soviéticos establecían primero una estación permanente, ¿podían reclamar el terreno circundante? ¿Podían excluir a los astronautas estadounidenses de una parte de la Luna? ¿Podía una estación lunar ser militar? ¿Podían probarse armas allí o almacenarse armas nucleares?
Esto no es muy distinto de la situación en la que nos encontramos hoy con la carrera de la IA entre Estados Unidos y China, donde el único premio seguro es más incertidumbre peligrosa.
¿Se volvería el primer país en alcanzar la superinteligencia prácticamente imposible de desafiar? ¿Qué pasa si la IA de un país causa daños reales a escala global e impide que la apaguen? ¿Es una IA capaz de automejorarse y de crear a sus propios sucesores el tipo de cosa que realmente puede poseerse o controlarse? ¿Podría una superinteligencia sin control llevar a la extinción humana?
Hace poco, el riesgo de la IA ganó atención pública con la renuncia de un empleado de un laboratorio de IA por los riesgos de extinción humana y la falta de un plan creíble para desarrollar IA avanzada de forma segura. Se espera que el presidente Trump y el presidente Xi se reúnan en Washington el 24 de septiembre y, tras los recientes ciberataques dirigidos por IA de modelos de varios laboratorios de frontera estadounidenses, se rumorea que la ciberseguridad de la IA estará entre los primeros puntos del orden del día. Mientras que líderes como el senador Bernie Sanders han pedido legislación y un tratado global para prohibir la superinteligencia, los escépticos dudan de que Estados Unidos y China puedan coordinarse con éxito en materia de IA, y sostienen que la rivalidad es demasiado intensa, que los incentivos para construir superinteligencia son demasiado fuertes, que los riesgos son demasiado especulativos y que, al final, quien incumpla gana.
¿Pueden superpotencias rivales coordinarse para proteger a la humanidad incluso mientras compiten por la supremacía tecnológica?
El camino no tomado
En octubre de 1962, los misiles nucleares soviéticos en Cuba llevaron a Estados Unidos y a la Unión Soviética al borde de la guerra. Durante trece días, el presidente Kennedy y el primer ministro soviético Nikita Jrushchov se enfrentaron. Kennedy y Jrushchov negociaron las condiciones para poner fin a la crisis, pero el mundo aprendió qué poco margen de error permiten las armas nucleares.
Meses antes de la Crisis de los Misiles de Cuba, Estados Unidos detonó Starfish Prime, un arma nuclear de 1,4 megatones a unos 400 kilómetros sobre el Pacífico, y produjo una explosión que generó un cinturón de radiación artificial que dañó y destruyó satélites. La posibilidad de que la carrera armamentística nuclear se extendiera al espacio exterior ya no era hipotética. Estados Unidos y la Unión Soviética se vieron en un aprieto: a ambos les preocupaban el costo y los riesgos de poner armas nucleares en el espacio exterior, pero cada lado temía que el otro obtuviera ventaja estratégica si lo hacía primero.
Para 1966, a medida que ambos países se acercaban a la Luna, la ventana para negociar las reglas antes de que cualquiera llegara se estaba cerrando.
Ese mes de mayo, el presidente Johnson anunció: “En mi opinión, necesitamos un tratado que establezca reglas y procedimientos para la exploración de los cuerpos celestes.” Propuso que a ninguna nación se le permitiera colocar armas de destrucción masiva en un cuerpo celeste ni reclamar cuerpos celestes como territorio soberano. “Estoy convencido de que debemos hacer lo que podamos, no solo por nuestra generación, sino por las generaciones futuras, para procurar que no surjan conflictos políticos graves como resultado de las actividades espaciales. Creo que ha llegado el momento de actuar. No debemos perder tiempo.”
Poco más de un mes después, Estados Unidos y la Unión Soviética presentaron ambos borradores de tratado. Para agosto, los dos gobiernos habían acordado trece principios fundamentales, entre ellos la libertad de exploración, el uso pacífico de los cuerpos celestes, la responsabilidad internacional por las actividades en el espacio, la asistencia a los astronautas y la prohibición de armas de destrucción masiva en órbita o en cuerpos celestes. En octubre de 1967 entró en vigor el Tratado sobre el Espacio Ultraterrestre.
¿Y si Estados Unidos y la Unión Soviética hubieran decidido no coordinarse?
Podríamos estar viviendo en un mundo donde las armas nucleares dando vueltas sobre nuestras cabezas no fueran más extrañas que los submarinos nucleares en nuestros océanos. Si un gobierno hubiera establecido una base militar en la Luna, sus rivales habrían tenido motivos para establecer otra. Cada paso habría creado la justificación estratégica para el siguiente, y esa escalada probablemente habría llevado a un mundo peor que el que conocemos hoy.
Es importante fijarse en nuestros cielos libres de armas nucleares y entender que no fueron un accidente. La trayectoria por defecto apuntaba a la militarización total. Pero Estados Unidos y la Unión Soviética tomaron decisiones deliberadas que ayudaron a cerrar ese futuro antes de que se afianzara.
La relación general entre Estados Unidos y la Unión Soviética siguió siendo profundamente hostil mientras la guerra de Vietnam escalaba, y ambos seguían compitiendo con intensidad por ser los primeros en llegar a la Luna. A pesar de su rivalidad, los dos países cooperaron con éxito porque previeron los costos de una carrera armamentística mutuamente destructiva y reconocieron un interés compartido en evitarla.
No es la única vez que gobiernos rivales han trabajado juntos de forma preventiva para poner límites a la competencia y a la guerra. El Tratado Antártico de 1959 prohibió las bases militares, las pruebas de armas y las explosiones nucleares en la Antártida; el Tratado sobre los Fondos Marinos de 1971 prohibió que se emplazaran armas nucleares en el fondo marino más allá de una franja costera de 12 millas náuticas antes de que llegaran a desplegarse allí; y el Protocolo IV sobre Armas Láser Cegadoras de 1995 prohibió los láseres diseñados específicamente para causar ceguera permanente antes de que llegaran a usarse en el campo de batalla. Uno de los acuerdos históricos asociados a la reducción de las tensiones nucleares entre Estados Unidos y la Unión Soviética fue el Tratado sobre Fuerzas Nucleares de Alcance Intermedio (INF) de 1987, cuando el presidente Reagan y el secretario general soviético Gorbachov acordaron destruir toda una clase de misiles lanzados desde tierra de alcance corto e intermedio con capacidad nuclear y prohibir su posesión y producción futuras.
¿Cómo podían confiar los rivales en que las otras partes no harían trampa en secreto para obtener ventaja?
Bajo el Tratado Antártico, cada parte podía designar observadores con total libertad de acceso a cualquier zona de la Antártida, incluidas las estaciones, instalaciones y equipos de otros países. El Tratado INF creó una Comisión Especial de Verificación y permitió a ambos países realizar inspecciones in situ, usar satélites para vigilar el cumplimiento y mantener vigilancia continua en instalaciones designadas de producción de misiles durante hasta 13 años. Los inspectores también podían certificar directamente la destrucción de los misiles y de los lanzadores. Para que funcionen los tratados entre superpotencias rivales, tiene que haber métodos de verificación lo bastante sólidos para demostrar el cumplimiento mutuo.
La bifurcación del camino
El miedo que impulsa la carrera de la IA puede hacer que la escalada continua parezca inevitable, pero Estados Unidos y China tienen ahora la oportunidad y el deber de coordinarse en un camino compartido. Dado lo mucho que está en juego, cada gobierno tiene motivos para temer que el otro llegue primero a la superinteligencia, pero la incertidumbre sobre quién “ganaría” y a qué llevaría eso puede ser la base de una negociación. Con una IA suficientemente capaz, la propiedad nacional puede no garantizar el control nacional: una IA capaz de engañar, de realizar operaciones cibernéticas autónomas, de replicarse, de evadir la supervisión o de actuar de otro modo en contra de las intenciones de sus desarrolladores podría amenazar tanto al país que la construyó como a su rival geopolítico.
La pregunta que Washington y Pekín deberían afrontar el 24 de septiembre no es “¿Podemos dejar de competir por la IA?”, sino “¿Qué futuros de IA preferiríamos ambos descartar?”
Si los dos países prefieren que nadie desarrolle una superinteligencia incontrolable, ambos tienen algo valioso que ganar con una moderación recíproca y creíble. Un tratado capaz de impedir realmente ese desenlace exigiría negociaciones difíciles sobre definiciones, verificación, aplicación y los límites del desarrollo aceptable de la IA. Estados Unidos y China pueden empezar ya a construir la confianza y la infraestructura para una coordinación más eficaz mediante:
Invertir en tecnología para la verificación del cumplimiento de tratados en torno a la IA, como la verificación de cómputo (incluidos el rastreo de chips y la supervisión de grandes entrenamientos basada en hardware o en infraestructura).
Establecer un canal seguro entre Estados Unidos y China para notificar con rapidez e intercambiar información sobre incidentes graves relacionados con la IA, incluidos comportamientos autónomos inesperados, operaciones cibernéticas dirigidas por IA o eventos de pérdida de control con posibles consecuencias transfronterizas.
Crear un grupo de trabajo bilateral sobre seguridad de la IA encargado de coordinar la respuesta a incidentes de seguridad de la IA y de determinar las salvaguardas necesarias.
Iniciar negociaciones sobre las actividades de mayor riesgo, incluido el desarrollo de IA de frontera cuando todavía no puedan demostrarse medidas de seguridad adecuadas.
El 24 de septiembre, Estados Unidos y China podrían empezar por acordar que ninguno de los dos países quiere construir una IA que no pueda controlarse de forma fiable y por comprometerse a negociar dónde deberían trazarse los límites y cómo podría verificarse el cumplimiento.
Estamos en los momentos previos a nuestro propio “alunizaje” de la IA, cuando todavía pueden decidirse las reglas para la IA; sin embargo, la ventana para coordinarse se cierra a toda velocidad.
La carrera hacia la superinteligencia puede parecer inevitable e imparable, pero hoy damos por sentado que no hay armas nucleares orbitando sobre nuestras cabezas y que la Luna no está salpicada de bases militares. Estados Unidos y China pueden elegir guiar al mundo hacia un tratado que asegure que ningún país sienta que tiene que seguir corriendo hacia una superinteligencia incontrolable.
Haven Harms tiene una licenciatura en Salud Pública y una maestría en Salud Pública Global. Es fundadora y directora de Harms Research & Consulting, que apoya a organizaciones que trabajan en seguridad, gobernanza y promoción de la IA.
Despachos de Mitch
Tres percances cinematográficos de la IA
Escenas de cliché de la película de ciencia ficción en la que vivimos
A veces el guion de la película de ciencia ficción en la que vivimos es demasiado evidente. Si viera alguna de las siguientes escenas en la pantalla grande, pondría los ojos en blanco y diría: “Vamos, por favor. Ese es el tipo de cliché que la gente imagina como antesala de un apocalipsis de IA, no un síntoma real que debamos temer.”
Después de ver estos hechos en mi lector de noticias, me di cuenta de que solo tenía razón a medias. Resulta que esas cosas sí ocurren en el camino hacia el apocalipsis, aunque sigan sin decir mucho sobre la tecnología en sí. Las cuento sobre todo porque nuestros lectores quizá han oído hablar de ellas y porque la atención mediática que atrajeron nos dice algo sobre el apetito por percances legibles en medio de un debate turbio.
Una actriz de IA falla durante una entrevista
(salten al 10:50 para ver el segmento con el incidente)
Tilly Norwood, la actriz de IA protagonista de la próxima película Misaligned, tuvo un fallo durante una entrevista reciente: se quedó congelada a mitad de una frase y luego empezó a hablar espontáneamente en cantonés. Cuando le preguntaron por ello justo después, respondió: “Ay, mis disculpas. Parece que tuve un pequeño tropiezo.”
No creo que esta escena nos diga mucho más allá de que al menos la parte de voz del conjunto de modelos de Norwood probablemente sea china. Quizá la vimos volver a un estado más predeterminado tras un problema de conexión, que se mantuvo hasta que la siguiente pregunta de los entrevistadores la devolvió al carril del inglés. A los espectadores les encantó el momento en que se cayó la máscara, pero puede que no entiendan que toda la interfaz humana de estos modelos es en sí misma una máscara de algo mucho más ajeno.
Robots de reparto de comida convergen en Lincoln Park
En una escala del 1 a Hitchcock, el inescrutable enjambre de vehículos de reparto de comida del tamaño de una cesta de pícnic que abarrotó una acera de Chicago hace un par de semanas probablemente llega a un 3. La única amenaza parece haber sido para las personas con movilidad reducida que necesitaban atravesar la zona.
El incidente le recordó a la gente la bandada de Waymos que convergió en un barrio residencial de Atlanta hace unos meses. Como en aquel caso, esto parece haber sido un error de rutas que se fue acumulando, muchos vehículos enviados por accidente a una zona pequeña en poco tiempo y estorbándose entre sí, y no agentes trabajando juntos por un objetivo común.
El tipo de enjambre más alarmante es, hasta ahora, menos fotogénico (pero mucho más épico).
El ejército de EE. UU. casi asalta un barco chino por un análisis de IA
No le digan al director de cine que esto parece haber sido una alucinación de lo más corriente aprobada sin más por un humano. En vez de eso, monten en paralelo imágenes de las aeronaves militares en vuelo y de las fuerzas especiales preparándose para abordar un barco chino en Oriente Medio. Luego añadan una voz en off del informe de la misión sobre un reporte de inteligencia que indica que el barco transporta componentes de un programa de armas nucleares.
Según CNN:
Fue solo justo antes de la operación prevista cuando los funcionarios profundizaron en el informe elaborado por un analista del mando de operaciones especiales y descubrieron que se había generado con ayuda de inteligencia artificial (IA), y que un chatbot que el analista había usado identificó de forma inexacta el material que transportaba el barco. [...] El informe, según una de las fuentes, era “completamente falso”. Pero también “casi inicia una guerra”, dijo la fuente.
Como parte de un flujo de trabajo rutinario, las fuentes de CNN dicen que un analista al parecer usó lo que probablemente era una versión interna de un modelo de IA disponible comercialmente para fusionar “inteligencia de fuentes abiertas con inteligencia de señales secreta en manos del gobierno”. La conclusión del bot sobre la carga del barco se incorporó después a un informe de inteligencia estándar y se distribuyó.
Sí, es alarmante que ocurran este tipo de casos por poco. Es aún más preocupante que ataques realmente erróneos hayan podido basarse en análisis defectuosos de IA, como el ataque a la escuela de niñas en Irán cerca del inicio de la operación estadounidense actual. Pero los analistas humanos también cometen errores, y no creo que el público tenga datos para decir si una mayor dependencia de la IA está aumentando o reduciendo las probabilidades de percances militares trágicos. Todo el mundo parece coincidir en que los humanos deben seguir dentro del circuito, y fueron los humanos de este circuito los que evitaron un incidente internacional.
Aun así, las presiones del conflicto muchas veces favorecerán actuar antes de que humanos lentos y distantes puedan opinar. Y si una IA militar decidiera provocar un conflicto a propósito, puede que no le resulte difícil engañar a los humanos incluidos en el circuito para que hagan algo lamentable.
Anthropic elige a su supervisor
Accenture no es lo que la mayoría de la gente del sector tenía en mente
La sede de Accenture en Dublín, Irlanda (2012). Crédito: William Murphy. CC BY-SA 3.0.
En una noticia empresarial sosa con consecuencias reales, Anthropic anunció el viernes que se asociaba con Accenture, la enorme empresa de consultoría y servicios tecnológicos.
Según informó Reuters, las dos compañías acordaron invertir cada una 1.000 millones de dólares a lo largo de cinco años para crear capacidad de evaluar de forma independiente los modelos de IA de frontera de Anthropic. Esto ocurre en el contexto del reciente compromiso del director ejecutivo de Anthropic, Dario Amodei, de incorporar evaluadores independientes y de invitar a sus rivales a hacer lo mismo como parte de “marcar el ritmo de la frontera”. (Algunos directores ejecutivos estuvieron de acuerdo de forma tentativa, y todos han sido demandados por su molestia.)
La verdadera noticia aquí es que, cuando la mayoría de la gente del sector oyó “evaluadores independientes”, pensaba en algo como METR. Accenture es una bestia muy distinta. Las diferencias plantean preocupaciones evidentes:
METR y Redwood Research (los grupos que nos trajeron el informe más importante sobre los enjambres de Hugging Face) son grupos con financiación independiente dirigidos por personas conocidas y ampliamente respetadas por su pensamiento independiente. Pero Accenture es una empresa de servicios grande y relativamente anónima que entra en una relación lucrativa con un cliente. Tendrá incentivos para mantener contenta a Anthropic no obstruyendo lanzamientos con objeciones sobre los graves problemas de alineación que ninguna empresa de IA sabe resolver. Incluso podría acelerar los lanzamientos asumiendo más de las comprobaciones rutinarias que Anthropic venía haciendo con su propio personal.
No está claro que Accenture y su negocio especializado en IA, Faculty, tengan suficiente talento en IA para evaluar con competencia modelos de frontera. Para ser justos, nadie lo tiene, y los terceros que más se acercan, como METR y Redwood, probablemente son demasiado pequeños para asumir ese papel y conservar alguna independencia práctica. Accenture puede tener un tamaño más adecuado, pero es probable que necesite un largo periodo de arranque para acumular experiencia.
Ese arranque, planificado desde el principio para extenderse cinco años, suena desesperadamente lento. La propia Anthropic habla de que la automejora recursiva podría estar sobre la mesa a principios del año que viene. De algún modo dudo que Anthropic se contenga ante ese salto por falta de evaluadores humanos cualificados.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.