En este número:
Un sistema de alerta temprana para incidentes con IA - En conversaciones con el viceprimer ministro chino, el secretario del Tesoro Bessent propone un canal conjunto para reportar incidentes con IA
Modelos abiertos ejecutan campañas de influencia autónomas - Irán, China y empresas privadas de Israel prueban IAs en guerras de insultos políticos en línea
El altruismo eficaz, y todo ese jazz - Cómo un movimiento del que quizá nunca han oído hablar se convirtió en el coco del gobierno de Trump
Despachos de Joe
Un sistema de alerta temprana para incidentes con IA
En conversaciones con el viceprimer ministro chino, el secretario del Tesoro Bessent propone un canal conjunto para reportar incidentes con IA
Al contrario de lo que suele imaginarse, la línea directa de la era de la Guerra Fría no usaba teléfonos rojos. Hoy basta con un correo electrónico seguro. Crédito: fergregory vía Adobe Stock
Una cumbre internacional es un asunto complejo. Antes de que los presidentes Donald Trump y Xi Jinping se reúnan más adelante esta semana, funcionarios estadounidenses y chinos sostienen conversaciones preliminares sobre los detalles. Las conversaciones previas a las conversaciones, el domingo, contaron con el secretario del Tesoro de Estados Unidos, Scott Bessent, y el viceprimer ministro chino He Lifeng, y Bessent planteó la idea de un sistema de notificación para dar alerta temprana de incidentes con IA.
Los reportes son vagos en los detalles, y en su mayoría solo contamos con la palabra de Bessent. The New York Times cita a Bessent diciendo que el canal propuesto cubriría incidentes a “nivel de seguridad nacional”, y él lo amplía en CNBC: “para que ambas partes puedan ponerse de acuerdo sobre cuáles son los principales peligros de la IA, ya sean agentes incontrolables, actores no estatales en el ámbito cibernético, actores no estatales en armas biológicas”.
Aunque estos peligros de la IA compiten con el comercio y los aranceles en la agenda de la cumbre, es bueno ver que se toman en cuenta, y un sistema rápido de reporte de incidentes parece un primer paso prometedor si se implementa bien. Hace eco de la publicación invitada de Haven de ayer, que recomendaba “establecer un canal seguro de incidentes entre Estados Unidos y China”, y el precedente que sentaría un canal así podría preparar el terreno para más acciones bilaterales muy necesarias. Según se informa, Bessent también dijo que él y He Lifeng probablemente se reunirían de nuevo en Shenzhen, China, en noviembre.
Modelos abiertos ejecutan campañas de influencia autónomas
Irán, China y empresas privadas de Israel prueban IAs en guerras de insultos políticos en línea
Indignación ex machina. Crédito: izzuan vía Adobe Stock
Ya podemos añadir “ejecutar una campaña autónoma de influencia en redes sociales” a la creciente lista de capacidades conocidas de la IA. The New York Times informa que Irán y China dirigieron modelos abiertos chinos (disponibles para descargar en internet) para operar “redes de cuentas falsas en plataformas como Instagram, Facebook, X y TikTok”, que en gran medida compartían contenido falso, político e incendiario.
También se descubrió que dos empresas privadas israelíes habían lanzado campañas autónomas. Una de ellas, IntelEye, aparentemente centró sus esfuerzos en ambos lados de las próximas elecciones nacionales israelíes. El cofundador de IntelEye, Maor Sellek, afirmó que la campaña era para “investigación y pruebas defensivas”, y comentó que, en retrospectiva, deberían haber avisado a las plataformas. La otra empresa no fue nombrada, y sabemos muy poco sobre lo que hacía.
Por sospechoso que resulte, puede haber algo de verdad en la afirmación de que estas actividades eran solo pruebas. Dudo que los actores estatales y privados detrás de estas campañas esperaran que avanzaran mucho; parecen experimentos, no esfuerzos serios. Las campañas fueron burdas y la inteligencia estadounidense las descubrió rápido, pero sirven como prueba de concepto para la manipulación patrocinada por Estados y probablemente se refinarán en intentos futuros.
Como ocurre con otros delitos impulsados por la IA, como el fraude y el hackeo, el problema inmediato para vigilar esta actividad es probablemente de escala. Actores que antes estaban limitados por la capacidad de sus empleados humanos ahora pueden delegar toda una cadena de manipulación a las IAs, y pueden iterar con rapidez, incorporando lecciones de intentos sucesivos para ampliar su alcance y ocultar sus patrones. La cantidad tiene una calidad propia.
En el futuro inmediato, esto probablemente significa un aumento del tráfico de cuentas falsas en las redes sociales, que en muchos casos han demostrado ser incapaces o poco dispuestas a frenar los bots que ya existen. No me sorprendería que China e Irán ya hayan puesto en marcha campañas nuevas y más sofisticadas que podrían ser más difíciles de detectar.
A más largo plazo, que en el caso de la IA puede significar cuestión de meses o años, esto es una pequeña muestra del potencial de las IAs para engañar y manipular instituciones humanas a gran escala. Es una capacidad peligrosa, no solo en manos de grupos humanos, sino también cuando la ejercen IAs que solo se sirven a sí mismas.
Despacho de Mitch
El altruismo eficaz, y todo ese jazz
Cómo un movimiento del que quizá nunca han oído hablar se convirtió en el coco del gobierno de Trump
Intenté mantener a StopWatch al margen de esto. Uno de nuestros principios fundacionales es que trataremos de no alimentar ni provocar peleas internas entre quienes trabajan para evitar nuestra extinción a manos de la IA. Y esta publicación está dirigida en buena medida a personas lo bastante normales como para no haber oído nunca hablar del altruismo eficaz (Effective Altruism, EA). Pero ahora que el término llega a titulares de gran difusión , ha llegado el momento de hablar de ello. Pido disculpas por adelantado por la ofensa que probablemente cause.
¿Egoísmo ineficaz?
Pensé por primera vez en escribir esta nota la semana pasada, cuando una cuenta oficial de Twitter del Departamento de Guerra de Estados Unidos publicó una imagen promocional de un “DEPARTAMENTO DE GUERRA CON LA IA POR DELANTE”. El texto de la publicación dice:
Americanismo, no altruismo eficaz. ¡Estados Unidos seguirá siendo DOMINANTE EN IA! [emoji de la bandera de EE. UU.]
No era la primera vez que veía a funcionarios del poder ejecutivo presentar el altruismo eficaz (EA) como un coco woke y ludita, pero las ocasiones anteriores parecían dirigidas a un público de iniciados que sabría qué era el EA. Con ese tuit, se me cayó el alma a los pies al comprender que el gobierno estaba empezando a difundir mensajes contra el EA al público general.
Me pareció una publicación bochornosa, porque dudo que siquiera el 1 % de los estadounidenses haya oído hablar del EA. Me imaginé a los lectores pensando: “Ya sabía que los funcionarios de Trump no eran muy fans del altruismo, pero ¿por qué rechazan la eficacia? Si van a hacer altruismo, ¿no deberían al menos intentar ser competentes?”
EA para principiantes
El altruismo eficaz es un conjunto difuso de personas que se identifican como interesadas en combinar imperativos morales con pensamiento racional para hacer más bien en el mundo. El EA cuajó por primera vez como concepto con nombre propio alrededor de 2009. El ejemplo clásico del EA en la práctica es la distribución de mosquiteros en regiones propensas a la malaria, que según las investigaciones resultó una manera muy costo-eficiente de salvar vidas. Las encarnaciones más tempranas y simples del EA a veces se describen como “altruismo de hoja de cálculo”, y a los propios EA como nerds bienintencionados.
Los EA reconocieron que la coordinación, el dinero y la influencia política ayudan mucho a ser eficaces , así que formaron redes interpersonales fuertes y organizaciones bien financiadas cerca del centro del grupo. Buena parte de ese financiamiento vino de EA que eligieron a propósito carreras lucrativas o que llegaron temprano a las criptomonedas. (Son nerds, recuerden.)
Pero la eficacia es solo la mitad de la historia. La parte del altruismo es más complicada, porque para maximizar el bien primero hay que decidir qué cuenta como bien. La mayoría de los EA probablemente dirían que intentan alguna combinación de “maximizar el florecimiento” y “minimizar el sufrimiento”, pero se dividen en cuanto a objetivos y estrategia. ¿Sufren los animales y otras criaturas? ¿Cuánto peso debemos darle a eso, dado que quizá sean menos conscientes pero más numerosos? ¿Cuánto peso debemos darle a las vidas de humanos que no existen pero que podrían existir en el futuro, según nuestras decisiones? ¿Hasta dónde hay que perseguir planes complicados que harían mucho bien al final, pero que corren el riesgo de corromperse y perder el rumbo por el camino?
Con esa última pregunta en particular, quizá vean cómo el arco del altruismo eficaz puede torcerse hacia el supervillanismo para quienes sobrestiman la fuerza de su fibra moral. Algunas de las mejores personas que conozco o sobre las que escribo son EA, pero también lo son algunas de las peores. Se considera que el movimiento alcanzó su punto máximo alrededor de 2020-21, porque en 2022 quedó muy manchado por el escándalo de fraude y quiebra de la casa de cambio de criptomonedas FTX, fundada por Sam Bankman-Fried, un importante donante del EA. Muchos EA dejaron de llamarse EA después de eso.
El EA y la IA
¿Qué tiene que ver todo esto con la IA y la Casa Blanca?
Pues bien, al ser nerds que buscaban más palanca para mejorar el mundo, muchos EA reconocieron inusualmente temprano que la IA iba a desempeñar un papel enorme en nuestro futuro, quizá un papel dominante.
Para algunos EA, el bien inmenso que la IA podría hacer posible convertía la carrera hacia la superinteligencia en un imperativo moral. Cada día sin ella trae unas 165.000 muertes por envejecimiento y enfermedad, una cantidad mucho mayor de sufrimiento potencialmente evitable, y una porción del cosmos que queda permanentemente inaccesible por la expansión misma del espacio.
Para otros EA, el daño inmenso que la IA podría causar convertía la seguridad de la IA en la causa más importante, no solo para los 8 mil millones de personas en la Tierra, sino para los billones de seres que quizá nunca existan si la superinteligencia acaba con nosotros.
Muchos EA eran lo bastante complejos intelectualmente como para sostener ambas visiones a la vez. Algunos de ellos fueron inversionistas o ingenieros tempranos en OpenAI antes de irse para fundar Anthropic por preocupaciones de seguridad. Dario Amodei, el director ejecutivo de Anthropic, fue uno de ellos. Puede que estas personas crean de verdad lo que dicen sobre que sería mejor poder frenar la carrera, o puede que no. Pero sin duda creen que nuestras probabilidades de sobrevivir a la superinteligencia serán peores si la construye alguien más .
Todo esto es para decir que los EA son a la vez algunas de las personas que más corren hacia la superinteligencia y algunas de las que ahora más se esfuerzan por frenar la carrera, o al menos por hablar de ello.
Los EA, como grupo, no están intentando detener la IA más de lo que los músicos, como grupo, están intentando tocar jazz. Claro, a muchos músicos les encanta el jazz y creen que el mundo estaría mejor si lo abrazara. Pero incluso los aficionados en su mayoría tocan géneros más rentables, a veces en nombre de financiar su giro al jazz en algún momento, algún día .
Al gobierno de Trump le desagrada Dario Amodei por sus posturas de principios contra las armas autónomas y la vigilancia masiva interna y, más recientemente, por sus llamados a medidas de seguridad en la industria que podrían, en algún momento, algún día, frenar un poco el avance de la IA. Metafóricamente hablando, se nota que le gusta el jazz.
A quienes intentan evitar nuestra extinción a manos de la IA les desagrada Amodei porque sigue empujando la frontera pese a lo mucho que habla de los riesgos. Metafóricamente hablando, siguen esperando escucharlo tocar jazz de verdad.
El EA como coco
Culpar a una camarilla en la sombra por acontecimientos inconvenientes es parte del manual político habitual, ya sea una “ vasta conspiración de derecha ” o la teoría conspirativa de las máquinas de votación Dominion . (Dato curioso: la “vasta conspiración de derecha” nos la trajo en 1995 Chris Lehane, entonces un operador político que trabajaba para los Clinton y hoy jefe de cabildeo de OpenAI.)
Cuando la renuncia de Jacob Coxon desató una oleada repentina de preocupación pública por el problema de la extinción por IA, el gobierno de Trump pudo haber optado por girar hacia atender dicho problema. En cambio, eligió mantener una agenda de a toda velocidad . Eso hizo necesario socavar las preocupaciones sobre la extinción, lo que logró amplificando conspiraciones que ya promovían aceleracionistas de la industria aliados con el gobierno. Algunas de esas teorías giran en torno a grupos de seguridad de la IA dirigidos o financiados por altruistas eficaces. Así que hoy la Casa Blanca quiere hacerles creer que las preocupaciones sobre la extinción son mentiras difundidas por esos EA woke y luditas.
Los EA son mediocres en el papel de coco. No son precisamente la MS-13 ni el Tren de Aragua , grupos que no lucen nada bien ni en sus mejores días. Algunas facciones dentro del EA incluso han recibido con agrado la atención, esperando que las personas racionales que los investiguen encuentren mucho que les guste.
Como camarillas, los EA tampoco son muy secretos. Pero, como otros chivos expiatorios populares a lo largo de la historia, los EA están bien conectados y bien financiados. Si les gusta el corcho con hilo rojo, podrían pasar muchas horas en su cobertizo trazando líneas entre el personal de las empresas de IA que construye IA, los investigadores externos que evalúan a dichas empresas y las organizaciones de seguridad de la IA que se les oponen, porque son bastante transparentes sobre estas conexiones. Podrían tejer un suéter con los hilos que atraviesan el EA, porque los EA entraron desde la planta baja. Eso es lo que pasa cuando uno se toma en serio la IA una década antes de que la gente empiece a prestar atención.
Pero incluso ahora, después de los enjambres descontrolados y del despertar Coxon, el EA típico, el mediano , probablemente no esté intentando detener el desarrollo de la IA. Probablemente no sea “woke” bajo ninguna definición razonable. Y definitivamente no es ludita. Si tiene alguna relación con la IA, probablemente esté intentando encontrar un camino que permita que el desarrollo continúe con más pruebas y salvaguardas, diciéndose que podemos acercarnos al borde sin caer, y que por supuesto todos harán una pausa cuando llegue el momento adecuado. En algún momento . Algún día .
Y todo ese jazz.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.