En esta edición:
Un pronóstico selectivamente optimista - Un resumen del camino que plantea el Plan A de AI 2040
Limpieza automatizada, en cierto modo - El estado de Nueva York planea identificar reglas obsoletas con IA
Actualización sobre actores estatales que avivan el rechazo a los centros de datos - Un nuevo informe de Alethea, una empresa de inteligencia de amenazas, encuentra evidencia (un poco) más sólida
"Corte de Internet" para agentes de IA - Una empresa emergente de GenLayer busca resolver futuras disputas entre agentes de IA mediante un jurado de IA
Despachos de Joe
Un pronóstico selectivamente optimista
Un resumen del camino que plantea el Plan A de AI 2040
Crédito: mimadeo vía Adobe Stock
El nuevo plan del AI Futures Project, AI 2040, ha conseguido una mención en el Washington Post. Espero que veamos más cobertura pronto.
Ayer recomendé de todo corazón leer su propuesta para gobernar la IA, el Plan A. Hoy compartiré una versión abreviada de su relato sobre cómo podría salir bien el futuro de la IA, un pronóstico que el investigador Richard Ngo calificó de "selectivamente optimista". Parafraseado, dice así:
Estados Unidos reconoce que la carrera de la IA es letalmente peligrosa y busca negociar como lo hizo alguna vez con los soviéticos. China se muestra receptiva porque lleva tiempo preocupada por la IA.
Con el respaldo de Estados Unidos y China, un acuerdo internacional exige rastrear la cadena de suministro (muy concentrada en pocos puntos) de los chips avanzados de IA. Una pausa en el entrenamiento de nuevos modelos de IA de frontera se hace cumplir mediante la vigilancia de los grandes centros de datos.
(Este paso supone que, en los próximos años, mejoremos la tecnología que permite verificar que los centros de datos no están realizando ciertos tipos de entrenamiento. Sin esa tecnología, los centros de datos tendrían que cerrarse por completo. El equipo de gobernanza técnica de MIRI lleva años trabajando en este y otros problemas relacionados, para que los gobiernos tengan las herramientas adecuadas cuando las necesiten.)
Contentos de ver que Estados Unidos y China frenan el ritmo, otros países se suman a lo que termina llamándose El Consorcio. Acuerdan seguir con el desarrollo de la IA, pero de forma lenta y cuidadosa, y con toda la investigación y los algoritmos de IA abiertos al escrutinio público. Los propios modelos de IA de frontera son de acceso público, pero sus pesos no se publican en línea, para que no los usen actores malintencionados para diseñar armas biológicas o reiniciar la carrera de la IA.
Se construyen nuevos centros de datos, pero en lugares donde se puede llegar a ellos con facilidad y apagarlos si el acuerdo se tambalea (por ejemplo, centros de datos chinos en Canadá, centros de datos estadounidenses en Mongolia). Los desarrolladores de IA tienen que presentar un "argumento de seguridad" sólido para sus modelos (una mejora enorme frente a la negligencia generalizada de hoy).
Para 2031, el avance de la IA va mucho más lento de lo que podría, pero el mundo aún se siente como una historia de ciencia ficción. Las IA y los robots hacen una buena parte de todo el trabajo, regulados y limitados a regiones estrechamente vigiladas para evitar que dominen por completo la economía. El PIB sube muchísimo, y los impuestos sobre el trabajo de las máquinas financian un "dividendo ciudadano" que ayuda a compensar la pérdida de empleos humanos. Los gobiernos (asesorados por IA) invierten en bioseguridad y otras precauciones.
Otras IA, ya tan buenas como los mejores expertos, ayudan a los investigadores humanos a descubrir cómo resolver el endiabladamente difícil problema de la alineación, y a hacer que las IA futuras se preocupen por las cosas humanas de la manera correcta. Varios años tensos y cada vez más extraños después, el mundo está listo para construir superinteligencia.
Tengo mis reparos con el Plan A, pero quizá mi desacuerdo más fuerte esté aquí. No creo que acabemos con IA lo bastante inteligentes para resolver la alineación, pero demasiado tontas para rebelarse con éxito. Necesitamos un enfoque muy distinto al paradigma actual de aprendizaje automático, en el que los sistemas se cultivan, no se diseñan.
Omití muchos detalles aquí, en aras de la brevedad, y renuevo mi recomendación de ir directamente a la fuente para saber más. A pesar de mis desacuerdos, creo que AI 2040 representa una visión del futuro bien fundamentada.
Limpieza automatizada, en cierto modo
El estado de Nueva York planea identificar reglas obsoletas con IA
Crédito: Pixel-Shot vía Adobe Stock
En medio de los llamados urgentes a llenar el vacío de una regulación de la IA muy necesaria, a veces resulta fácil olvidar que muchas regulaciones son pésimas. Las burocracias federales y estatales están llenas de reglas anquilosadas que datan de la época de McCarthy y de los faxes, algunas declaradas inconstitucionales hace décadas pero todavía vigentes en los códigos. Haría falta toda una vida para revisarlas todas.
Al menos, así era hasta hace poco. Si hay algo en lo que la IA moderna es buena, es en analizar rápidamente enormes cantidades de texto.
El miércoles, escribe el New York Times, la gobernadora de Nueva York, Kathy Hochul, ordenó al estado usar IA para ayudar a eliminar décadas de maleza burocrática.
Mis sentimientos sobre esta decisión son encontrados. Estoy firmemente convencido de que muchos tipos de regulación hacen más daño que bien, y desde mis días como ingeniero en ExxonMobil le tengo cariño a la tarea de limpiar requisitos confusos y costosos sin sentido. Pero encontrar leyes potencialmente malas no es lo mismo que eliminar las correctas. Con la interrupción, al parecer accidental, de programas populares que salvan vidas como PEPFAR el año pasado, ya hemos visto que los esfuerzos de limpieza asistidos por IA causan daños importantes.
Tampoco me convencen del todo los intentos de la gobernadora Hochul de decirle a la ciudadanía de Nueva York que "su gobierno está ahí para ellos", después de que cediera ante la presión de la industria y exigiera suavizar la regulación estatal de la IA en contra de la voluntad de la propia legislatura de Nueva York.
Aun así, me entusiasma con cautela ver a la IA puesta a trabajar en una tarea tan bien adaptada a ella, ayudando a funcionarios estatales sobrecargados a despejar un atraso de décadas de mugre legislativa acumulada.
Despachos de Alana
Actualización sobre actores estatales que avivan el rechazo a los centros de datos
Un nuevo informe de Alethea, una empresa de inteligencia de amenazas, encuentra evidencia (un poco) más sólida
Hace alrededor de un mes cubrí las afirmaciones de grupos a favor de la IA y de republicanos de la Cámara de Representantes de que China estaba alimentando parte de la oposición a los centros de datos en Estados Unidos.
En ese momento, la evidencia parecía bastante endeble. Pero un nuevo informe de la empresa de inteligencia de amenazas Alethea aporta algunos ejemplos concretos de medios chinos, rusos e iraníes que aprovechan la controversia. Según lo transmitido por el New York Times:
Entre enero y junio [de 2026], los medios estatales de China, Rusia e Irán mencionaron los centros de datos unas 700 veces, según el análisis de Alethea. Eso fue un promedio de casi cuatro veces al día, aunque siguió siendo una pequeña fracción del contenido total publicado sobre el desarrollo de la IA.
Alethea señala explícitamente que la oposición a los centros de datos se originó en Estados Unidos, y la califica de "nacida en casa". Como ocurre con otros temas polémicos, la empresa cree que los actores extranjeros están aprovechando la controversia en lugar de crearla:
Las peleas localmente fragmentadas y cargadas de emoción como esta son exactamente las condiciones que buscan los actores estatales, una oportunidad de convertir el descontento en una cuña contra la confianza en la infraestructura, las empresas y el gobierno de Estados Unidos.
Los centros de datos son el objetivo actual, pero también son un anticipo de un manual repetible: oposición local, secuestrada y amplificada por actores estatales extranjeros hasta convertirla en una narrativa nacional.
El New York Times señala que "está por verse el impacto [de estas campañas mediáticas] en la opinión pública".
El informe de Alethea también dice que algunas de las publicaciones en redes sociales vinculadas a países extranjeros no son necesariamente de motivación política, sino más bien "carnada de indignación rural" para maximizar la interacción.
Como era de esperar, según el New York Times, algunos "se han aferrado al papel de China, en particular", argumentando que la propaganda china es un intento de frenar la ventaja tecnológica de Estados Unidos. No tengo dudas de que esto se seguirá usando como argumento contra la regulación y como forma de distraer de las preocupaciones nacionales sobre seguridad y calidad de vida.
"Corte de Internet" para agentes de IA
Una empresa emergente de GenLayer busca resolver futuras disputas entre agentes de IA mediante un jurado de IA
Crédito: dp singh Bhullar vía Pexels
Un artículo de Forbes considera que un mundo impulsado por agentes está "en un futuro no muy lejano".
En ese mundo, los agentes de IA que los representen a ustedes se comunicarán con otros agentes que representen a quienes les venden bienes o servicios. Según la firma de consultoría McKinsey, estos agentes podrían facilitar entre 3 y 5 billones de dólares en transacciones de consumo para 2030. Y según una empresa emergente llamada GenLayer, los agentes necesitarán una forma de resolver disputas.
Entra en escena la "Corte de Internet", la visión de GenLayer de un sistema que resuelve disputas entre agentes sin intervención humana. Un jurado de IA, compuesto por cinco participantes de la cadena de bloques elegidos al azar, cada uno ejecutando un modelo de IA distinto (Claude, GPT, etc.), "evalúa la evidencia y emite un veredicto en minutos". Si no logran ponerse de acuerdo, el jurado se sigue ampliando hasta que lo consigue. Esta mecánica del jurado se basa en una teoría según la cual, a medida que se añaden más evaluadores independientes, aumenta la probabilidad de llegar a la "respuesta correcta". El sistema también podría ayudar a los agentes a crear contratos por adelantado, para minimizar que las disputas ocurran siquiera.
Para entender esta visión, hay que entender en qué se diferencian los agentes de IA de los chatbots: básicamente, uno les da una tarea o les delega toda un área de responsabilidad, y actúan de forma autónoma para gestionarla como creen mejor. Esto a veces sale bien, y a veces ... no. En un costoso fracaso, el agente de operaciones bursátiles Bankr fue engañado para enviarle a un atacante unos 200 mil dólares en moneda digital.
No está claro si llegará a existir un mundo impulsado por agentes, aunque, como ya he cubierto antes, los agentes de IA ya están facultados para hacer de todo, desde operar en bolsa hasta comprar. Es posible que los humanos decidan que da demasiado repelús y limiten el uso de agentes. Pero si el mundo que imagina GenLayer llega a surgir, puede que la gente no tenga más remedio que depender de servicios de arbitraje automatizado como su idea de la Corte de Internet, respaldada por 26 empresas de criptomonedas e IA. Al fin y al cabo, no hay una manera fácil y no automatizada de manejar a millones de agentes de IA que realizan un volumen potencialmente altísimo de acciones rápidas en múltiples plataformas.
Tampoco hay una manera fácil y automatizada de manejar esto. La directora de operaciones de una firma de capital de riesgo de criptomonedas con sede en Nueva York, Lindsay Lin, señala un problema con el enfoque de jurado de GenLayer, y cuestiona el supuesto de que distintos modelos de IA (por ejemplo, Claude y GPT) sean lo bastante diferentes como para considerarse evaluadores independientes:
Muchos modelos de lenguaje grandes pueden estar correlacionados porque comparten datos de entrenamiento y modos de fallo comunes, mientras que los humanos tienden a ser más independientes.
Un profesor de Stanford añade que las IA podrían alucinar o trabajar con datos de entrenamiento corrompidos.
Mi opinión: si quieren sentir que vamos camino a un futuro distópico en lugar de solo pensarlo de forma abstracta, vale la pena leer este artículo. Además del comercio con agentes y disputas resueltas por jurados de agentes, el texto también menciona mercados emergentes lanzados por OKX, uno de los patrocinadores de GenLayer, "donde los agentes pueden contratar a otros agentes para realizar tareas pagadas". Un mundo impulsado por agentes no es lo que más me preocupa, es poca cosa comparado con el riesgo de extinción que temen los principales expertos, pero sí me provoca un escalofrío visceral.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.