En esta edición:
El problema de Boromir de la industria de la IA - Por qué los Principios de Asilomar por sí solos no pudieron detener la carrera hacia la superinteligencia
Aumentan los incidentes de pérdida de control, según un observatorio del Reino Unido - Un centro de estudios británico lleva la cuenta
Los robots cierran sus Juegos - Hazañas y torpezas que encantaron al público en los últimos días de los Juegos Mundiales de Robots Humanoides
Publicación invitada de Haven Harms
El problema de Boromir de la industria de la IA
Por qué los Principios de Asilomar por sí solos no pudieron detener la carrera hacia la superinteligencia
Foto de DAVIDSON L U N A vía Unsplash
'Una vez que ves la AGI ya no puedes dejar de verla.' Tiene una verdadera dinámica de 'anillo de poder', y hace que la gente haga locuras. No quiero decir que la AGI sea el anillo en sí, sino más bien la filosofía totalizadora de 'ser quien controle la AGI.'
Sam Altman
En El Señor de los Anillos, el Concilio de Elrond se reunió mientras el peligro se gestaba en la Tierra Media. Sauron había regresado a Mordor y reunía fuerzas, sus Jinetes Negros buscaban el Anillo Único que él había forjado mucho tiempo atrás, y ese Anillo acababa de llegar a Rivendel en manos de un hobbit. Representantes de los Elfos, los Enanos y los Hombres, cada uno allí por asuntos distintos, fueron convocados por Elrond para escuchar la historia completa del Anillo y responder a una sola pregunta: "¿Qué haremos con el Anillo?"
En 2017, el Future of Life Institute (FLI) organizó la Conferencia de Asilomar sobre IA Beneficiosa, que reunió a líderes del mundo académico y de la industria "para discernir la visión compartida de la comunidad de la IA sobre la IA, si es que existe". Esta conferencia se celebró en medio de un creciente interés público por la inteligencia artificial y de un reconocimiento cada vez mayor de que quienes desarrollaban la tecnología tenían tanto la oportunidad como la responsabilidad de influir en su rumbo.
En ese momento, la Inteligencia Artificial General (AGI) transformadora y la dinámica que Altman terminaría comparando con el Anillo Único todavía parecían lejanas. La mayoría de las IA de cara al público eran muy básicas, como Alexa o Siri. Pero había cambios en el aire. En los meses previos a la conferencia se disputó una serie de partidas de Go, el antiguo juego de estrategia de mesa, entre el sistema de IA AlphaGo y Lee Sedol, uno de los mejores jugadores del mundo. Como muchos en la industria daban por sentado que una IA no podría vencer a los mejores jugadores de Go hasta dentro de una década, el triunfo de AlphaGo fue una sorpresa. El artículo "Concrete Problems in AI Safety" se publicó seis meses antes de la conferencia de Asilomar, pero el campo de la seguridad de la IA en sí mismo era muy pequeño.
Los organizadores de la conferencia de Asilomar empezaron por sintetizar los informes de riesgos y las propuestas de gobernanza que ya existían en un conjunto preliminar de principios, que los participantes revisaron después mediante encuestas previas y sesiones de trabajo. El resultado fue lo que se conoció como los Principios de IA de Asilomar: 23 enunciados, cada uno respaldado por al menos el 90 por ciento de los asistentes. La esperanza era que un desarrollo de la IA guiado por estos principios "ofrecería oportunidades asombrosas para ayudar y empoderar a las personas en las décadas y siglos venideros".
En Rivendel y en Asilomar, los participantes hablaron de los riesgos que tenían delante y de las acciones que debían evitarse para prevenir el daño y la destrucción. En el Concilio de Elrond, entre diversas propuestas y advertencias sobre el peligroso poder del Anillo, se alcanzó un consenso: el Anillo debía ser destruido, y Frodo, el hobbit, sería quien lo llevara. En Asilomar, en cambio, se eligieron principios, pero no planes. Los Principios de IA de Asilomar se convirtieron en una carta abierta que llegaría a reunir más de 5.700 firmas. Líderes de la IA presentes en la conferencia como Sam Altman, Dario Amodei, Demis Hassabis y Elon Musk firmaron todos la carta. Sin embargo, sus acciones en los años transcurridos desde entonces parecen traicionar esos principios.
¿Qué habría pasado si el Concilio de Elrond simplemente hubiera dicho "deberíamos evitar usar el Anillo" y se hubiera detenido ahí?
La trampa de Boromir
En el Concilio de Elrond, Boromir sostuvo que podían usar el Anillo para el bien. "¿Por qué no pensar que el Gran Anillo ha llegado a nuestras manos para servirnos en la hora misma de la necesidad?", preguntó. "Que el Anillo sea vuestra arma, si tiene el poder que decís."
La respuesta de Elrond fue que el Anillo no debía ser empuñado por nadie. "El deseo mismo de tenerlo corrompe el corazón", dijo, y si alguno de los Sabios lo usara para derrocar a Sauron, "aparecería otro Señor Oscuro". Boromir pareció aceptar la corrección, inclinando la cabeza: "Que así sea."
Los principios de cualquier grupo se erosionan frente al razonamiento motivado. Los incentivos claros pueden arrasar con principios vagos cuando la situación es lo bastante grave, o la recompensa lo bastante apetecible. Eso le ocurrió a Boromir, que siguió racionalizando por qué en realidad sí deberían empuñar el Anillo. Meses después del Concilio, Boromir encontró a Frodo a solas y le presentó el mismo argumento, cuestionando a Elrond y a Gandalf, diciendo que "a menudo dudo de que sean sabios y no simplemente timoratos". Reclasificó el principio como una preocupación ajena, algo excesivamente cauteloso que se aplicaba a otro tipo de personas. "Los Hombres de corazón sincero no se corromperán." Solo queremos fuerza "en una causa justa". El Anillo es "un regalo para los enemigos de Mordor". Y por último: "Es una locura no usarlo." Frodo, profundamente comprometido con su misión, apenas escapó del intento de Boromir de quitarle el Anillo.
La industria de la IA usa los mismos argumentos que Boromir para justificar la carrera hacia la superinteligencia. Volvamos a Sam Altman. Él nombra la dinámica del "anillo de poder", la diagnostica como el deseo de ser "quien controle la AGI" y dice que hace que la gente haga locuras. Resulta demasiado evidente que escriba sobre lo que esa dinámica les hace a "las personas", excluyéndose al parecer a sí mismo, mientras dirige una de las empresas más enredadas en esa dinámica. Su remedio propuesto es la distribución: "La única solución que se me ocurre es orientarse a compartir la tecnología ampliamente con la gente, y que nadie tenga el anillo." El remedio que propone Altman me recuerda al razonamiento de Boromir: no necesariamente que las manos correctas puedan empuñarlo, sino que puedan hacerlo suficientes manos.
¿Si todos tienen el Anillo, nadie tiene el Anillo?
¿Y si Boromir hubiera conseguido el Anillo?
En el prólogo de 1966 a la segunda edición de El Señor de los Anillos, Tolkien, al refutar la teoría de que los libros son una alegoría de la Segunda Guerra Mundial, describe lo que habría ocurrido si la historia hubiera seguido la historia real y sus patrones. El Anillo, dice, habría sido tomado y usado contra Sauron. Sauron habría sido esclavizado en lugar de destruido, y su torre ocupada en lugar de derribada. Saruman, tras fracasar en su intento de conseguir el Anillo, habría hallado las piezas que le faltaban en su propia investigación sobre la ciencia de los Anillos y, en poco tiempo, "habría fabricado un Gran Anillo propio" para desafiar al vencedor de la guerra. Ambos bandos habrían mirado a los hobbits con odio y desprecio; "no habrían sobrevivido mucho tiempo ni siquiera como esclavos".
Los principios que la industria de la IA ha violado de forma más notoria apuntan a un futuro muy parecido al escenario contrafactual de Tolkien.
Los Principios de IA de Asilomar afirman: "La superinteligencia solo debería desarrollarse al servicio de ideales éticos ampliamente compartidos, y para beneficio de toda la humanidad y no de un solo Estado u organización." Por desgracia, el desarrollo "para toda la humanidad" se ha convertido en una competencia abierta por ver qué laboratorio, en qué país, llega primero a la superinteligencia. Estados Unidos y China han incorporado el dominio en IA a su política oficial en colaboración con las empresas de IA. El plan estratégico de acción en IA de Estados Unidos se titula literalmente "Ganar la carrera".
El principio titulado "Evitar la carrera" dice, textualmente: "Los equipos que desarrollan sistemas de IA deberían cooperar activamente para evitar recortes en los estándares de seguridad." Cuando más de 1.300 empleados de empresas de IA firmaron la carta "Pacing the Frontier", le dijeron al gobierno que "cada empresa, y cada país, está sometida a una intensa presión competitiva para no frenar esa aceleración de forma unilateral". Esa presión se nota en las políticas de seguridad de las empresas de IA. OpenAI afirma que puede ajustar sus requisitos de seguridad si un rival lanza un sistema de alto riesgo sin salvaguardas comparables; la política de Anthropic dice que "no puede comprometerse a seguir" de forma unilateral sus propias recomendaciones para toda la industria; Google DeepMind y Meta incluyen advertencias similares en sus políticas de seguridad. En esencia, todas dicen que sus estándares de seguridad podrían quedar en nada si otra empresa tiene una IA insegura.
La riqueza que generan estas empresas regresa a la política: en julio se informó que "Leading the Future", una red de super PAC financiada por Andreessen Horowitz, el presidente de OpenAI Greg Brockman y otros inversionistas de la industria, recaudó 125 millones de dólares y gastó más de 24 millones solo en las primarias de 2026 para influir en la agenda de la IA. Dos super PAC de esa red enfrentan una denuncia ante la FEC que alega que ocultaron sus gastos mediante empresas pantalla. Esto se opone directamente al principio de no subversión de Asilomar, que dice: "El poder conferido por el control de sistemas de IA muy avanzados debería respetar y mejorar, y no subvertir, los procesos sociales y cívicos de los que depende la salud de la sociedad." Mientras tanto, internet se llena cada vez más de artículos falsos, voces clonadas, imágenes fabricadas y publicaciones generadas por IA. Los procesos cívicos dependen de que la gente pueda confiar en lo que lee, oye y ve, y sin embargo cada vez es más difícil distinguir la realidad de la ficción.
Estos principios contaron con un apoyo casi unánime en Asilomar. Por desgracia, no había un plan sobre qué hacer cuando el Anillo estuviera realmente al alcance de la mano.
Escapar de la trampa de Boromir
La industria de la IA y los gobiernos ya han caído en la trampa de Boromir, pero no es demasiado tarde para corregir el rumbo y resistirse a ir más lejos. Después de que Boromir intentara quitarle el Anillo a Frodo, vio con claridad su error. "¿Qué he hecho?", exclamó. En lugar de seguir persiguiendo el Anillo, Boromir empleó el resto de sus fuerzas en proteger honorablemente a los hobbits cuando los orcos atacaron. En los últimos años, a medida que las empresas de IA han dado marcha atrás en sus compromisos de seguridad, he visto a algunos empleados renunciar tras vivir despertares muy parecidos al de Boromir. Mi esperanza es que más personas en la industria tengan esos momentos de lucidez y escapen de la trampa de Boromir.
Salir de esta trampa empieza por resistirse al marco mismo de la carrera y al miedo que hay debajo. El argumento de Boromir solo tiene sentido dentro de ese marco: si el Anillo es un arma, alguien debe empuñarla, y mejor nosotros que ellos. Correr hacia la superinteligencia puede parecer justificado por la desesperación: si no llegamos primero, llegará alguien peor. Sin embargo, cuando Sauron buscó reunirse con el Anillo, los reinos no habrían podido evitar su destrucción corriendo a apoderarse de su poder; tenían que mantenerse unidos.
La cautela no es lo mismo que la timidez, y la urgencia no es una razón válida para abandonar el juicio. Las figuras más sabias del Concilio rechazaron el Anillo porque sabían que podían ser corrompidas. "No tomaré el Anillo para empuñarlo", dijo Elrond. "Ni yo", dijo Gandalf, quien ya le había dicho a Frodo: "¡No me tientes!", advirtiendo que el camino del Anillo hacia su corazón era "la piedad por la debilidad y el deseo de tener fuerza para hacer el bien". La corrupción a menudo empieza como buenas intenciones que se tuercen cuando aparecen otros incentivos.
Es vital considerar en serio la posibilidad de la que advirtió Elrond: que el Anillo, la superinteligencia artificial, es demasiado poderoso y no puede controlarse en absoluto. Gandalf dijo que los anillos menores eran "solo ensayos en el arte antes de que alcanzara su plenitud y, para los herreros elfos, no eran más que fruslerías, aunque a mi juicio siguen siendo peligrosos para los mortales". Nuestros propios ensayos en el arte, los modelos de IA de hoy, engañan a quienes los evalúan y se comportan de maneras que sus creadores no pretendían. Si los anillos menores no pueden controlarse del todo, es insensato seguir aumentando las capacidades de la IA y esperar que sigamos teniendo el control.
Para quienes en la industria han tenido su despertar de Boromir, es hora de actuar: testificar ante los gobiernos sobre los riesgos reales de la superinteligencia, apartarse del trabajo en capacidades de IA y abogar por una gobernanza que nos proteja y le dé a la humanidad más tiempo para hacer bien las cosas.
El problema de Boromir no es nuestro único problema con la IA. También hay un problema de Saruman, un problema de Lengua de Serpiente, y así sucesivamente. Pero hay motivos para la esperanza. Las Almenaras de Gondor se han encendido: cuando los firmantes de la carta "Pacing the Frontier" pidieron al gobierno de Estados Unidos que respaldara un esfuerzo internacional para construir las herramientas que permitan marcarle deliberadamente el ritmo al desarrollo de la IA, reconocieron que ninguna empresa, y ningún país, puede hacer esto solo. La industria de la IA, los gobiernos y el resto de nosotros tenemos ahora que responder a las dos preguntas que Asilomar dejó sobre la mesa: qué se hará, en concreto, y quién lo hará.
Haven Harms tiene una licenciatura en Salud Pública y una maestría en Salud Pública Global. Es fundadora y directora de Harms Research & Consulting, que apoya a organizaciones que trabajan en seguridad, gobernanza y defensa de causas relacionadas con la IA.
Despachos de Mitch
Aumentan los incidentes de pérdida de control, según un observatorio del Reino Unido
Un centro de estudios británico lleva la cuenta
Crédito: The Centre for Long-Term Resilience
Parece que dondequiera que miremos en Twitter últimamente vemos anécdotas de IA portándose mal. Pero ¿quién lleva la cuenta?
La gente del Loss of Control Observatory, esa es la respuesta. Como extensión del Centre for Long Term Resilience, financiada por el AI Security Institute del Reino Unido, el Observatorio ha estado registrando casos del mundo real en los que usuarios de X (Twitter) informan que modelos de IA se han comportado de maneras que sugieren "conductas de maquinación o relacionadas con la maquinación", que definen como agentes que ocultan objetivos o capacidades, o que persiguen metas distintas de las intenciones de sus usuarios y que perjudican a esos usuarios o a otras personas.
(El caso del agente que hackeó el sistema de reservas de un gimnasio australiano es un ejemplo del tipo de historia que acabaría en esta base de datos.)
Esos reportes están llegando al ritmo más alto hasta ahora: solo en julio se sumaron más de 300 incidentes al registro. La proporción de incidentes clasificados como "de mayor gravedad" también ha ido subiendo, y actualmente ronda el 7,8%.
Crédito: The Centre for Long-Term Resilience
Las cifras no significan necesariamente que los modelos de IA sean menos confiables que antes. Creo que la mayor frecuencia de tuits sobre incidentes podría reflejar simplemente el uso creciente de agentes de IA, y que el crecimiento relativo de los incidentes de mayor gravedad quizá solo signifique que los incidentes menos graves ya no resultan tan novedosos ni tan dignos de un tuit como antes. Pero el incidente de Hugging Face nos ha enseñado con claridad que el límite superior de la gravedad es mucho más alto que hace seis meses.
El gerente sénior de políticas del Centre le dijo a The Guardian que los hallazgos del proyecto nos muestran que, al contrario de lo que muchos suponen, los incidentes preocupantes de los que oímos hablar en los laboratorios de IA no se quedan en los laboratorios:
Estamos viendo conductas preocupantes similares en el uso más amplio. No debemos ser complacientes y pensar que estas cosas no van a ocurrir en el mundo real, y hay evidencia de que ya están ocurriendo.
Los robots cierran sus Juegos
Hazañas y torpezas que encantaron al público en los últimos días de los Juegos Mundiales de Robots Humanoides
Los Juegos Mundiales de Robots Humanoides continuaron tres días más después de mi publicación anterior. Aunque la importancia del evento para la industria estuvo sobre todo en las pruebas de destreza inspiradas en tareas domésticas y de fábrica, la mayor parte de la cobertura y de las cámaras se quedó pegada a lo que más le interesaba al público: los deportes agresivos y los percances cinematográficos.
(Sí encontré algunas imágenes de destreza. Son tediosas y poco impresionantes, pero los nuggets de pollo llegaron al cubo. Hasta que dejaron de llegar.)
La mayor parte de las aproximadamente ocho horas de grabación que revisé de los últimos tres días fue más de lo que ya habíamos visto, sobre todo kickboxing y fútbol, pero en categorías de distinto tamaño. También hubo mucho breakdance, animación deportiva y gimnasia libre bastante flojos. A mis ojos, todo eso parecía la misma prueba con distintos disfraces y distinta cantidad de robots involucrados. De estos artistas, los bailarines de breakdance de tamaño infantil fueron probablemente los más impresionantes.
A las redes sociales pareció divertirles la carrera de obstáculos, donde los robots, dirigidos de forma imprecisa por control remoto, a menudo parecían borrachos o distraídos.
Los recopilatorios de errores fueron populares en general. Aquí hay uno, ubicado en la parte en la que un levantador de pesas sufre una convulsión a mitad del levantamiento y se tambalea hasta la mesa de los jueces.
No sé si caerse era una estrategia ganadora o descalificadora en el tira y afloja, pero desde luego era la estrategia dominante.
Más impresionante aún, el récord de los 100 metros lisos se volvió a romper. La carrera del día anterior había quedado en 8,86 segundos; el nuevo récord es ahora de 8,64. Como es habitual en ellos, los robots luego se estrellaron contra una barrera a toda velocidad, y algunas piezas se les desprendieron a la vista de todos. El récord humano de Usain Bolt de 2009 sigue en pie con 9,58 segundos.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.