En esta edición:
Una petición para "marcar el ritmo de la frontera" - Empleados de las empresas de IA de frontera quieren poder confiar en una desaceleración mutua
Amodei se niega a ceder - El director ejecutivo de Anthropic compartió las razones por las que no firmará la carta sobre pesos abiertos, pese a una intensa presión de sus pares
Un libro superventas podría ser 60 % IA - A medida que la escritura con IA mejora, ¿seguirán vigentes los tabúes en su contra?
La Ley de IA de la UE está a punto de volverse más poderosa - Europa no necesita fabricar sus propios modelos para tener influencia regulatoria
Sistemas que no podemos dirigir ni inspeccionar - Todo el alboroto por el comentario al margen de Sam Altman sobre la "singularidad" pasa por alto lo esencial
Despachos de Mitch
Una petición para "marcar el ritmo de la frontera"
Empleados de las empresas de IA de frontera quieren poder confiar en una desaceleración mutua
Crédito: Metropolitan Museum of Art . CC0 . Vía Wikipedia .
Más de mil empleados de empresas de IA de frontera han firmado una breve declaración que advierte sobre la posibilidad de que el desarrollo de la IA se acelere rápidamente más allá de "nuestra capacidad de entenderlo o controlarlo". Entre los firmantes de la nueva declaración están cuatro de los cofundadores de Anthropic, el científico jefe de OpenAI, el director de investigación de OpenAI, el científico jefe de Meta y el vicepresidente de Seguridad y Alineación de IA de Google.
La declaración hace el siguiente llamado a la acción:
Solicitamos que el gobierno de Estados Unidos apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo automatizado de IA.
Las "herramientas de gobernanza" en cuestión son los mecanismos que harían falta para que las partes puedan asegurarse mutuamente que no están compitiendo en secreto por modelos más poderosos mientras de cara al exterior acuerdan ir más despacio.
Algunas de esas herramientas podrían ser técnicas, como chips resistentes a la manipulación que serían muy difíciles de usar de maneras no autorizadas o en lugares no autorizados sin dejar huellas de ello. Otras serían más regulatorias y políticas, como una vigilancia más estricta de la cadena de suministro de chips de IA. Probablemente hará falta una mezcla de muchos tipos de herramientas.
Yo, por mi parte, veo la nueva declaración con mucho ánimo. Un llamado a desarrollar herramientas de gobernanza puede parecer a varios pasos de distancia de lo que en última instancia tiene que ocurrir, pero es un paso necesario que va al corazón de las dinámicas de carrera que hacen que la gente se sienta atrapada. Y creo que a muchos responsables de políticas les sorprenderá cuánto trabajo previo de gobernanza ya existe: el Equipo de Gobernanza Técnica de MIRI ha estado catalogando las herramientas posibles y explorando cómo organizarlas mejor para impedir la creación prematura de una superinteligencia artificial .
Esto me hace ser optimista y pensar que los gobiernos pronto avanzarán con las herramientas existentes, de modo que estén preparados para actuar con rapidez ante una desaceleración o una pausa, una vez convencidos de que las herramientas que faltan pueden estar listas para cuando se cierre cualquier acuerdo internacional.
La página web de la declaración incluye citas aportadas por los firmantes. Leo Gao, miembro del personal técnico de OpenAI, escribe:
El mundo está atrapado en una carrera mortal hacia una explosión de inteligencia, en la que la capacidad de la IA para crear mejores IA alcanza un punto crítico, igual que una reacción nuclear en cadena descontrolada. Ir más despacio nos daría un tiempo muy necesario para lograr que salga bien, pero ningún actor individual está dispuesto a detenerse de forma unilateral. Para sobrevivir, debemos coordinarnos para frenar la carrera.
Amodei se niega a ceder
El director ejecutivo de Anthropic compartió las razones por las que no firmará la carta sobre pesos abiertos, pese a una intensa presión de sus pares
Crédito: L. David Mech, Bruce W. Christensen, Cheryl S. Asa, Margaret Callahan, Julie K. Young . CC BY-SA 3.0 .
Entre los líderes tecnológicos y los expertos, en los últimos días, la carta abierta en contra de las prohibiciones de modelos de pesos abiertos provenientes de China o de otros lugares cayó en ese tipo de presión social en cascada que asocio con episodios de injusticia social: cualquiera a quien le disguste la injusticia pero tenga reservas sobre los remedios propuestos puede verse acorralado por afirmaciones del tipo "o estás con nosotros o apoyas la injusticia".
En parte, la carta fue una maniobra transparente de los actores más pequeños para formar un círculo de desaprobación alrededor de las principales empresas de IA, y pintarlas como totalitarios codiciosos por intentar mantener bajo llave sus modelos de frontera. Parecía decir: "o estás con nosotros o estás en contra de los pesos abiertos, del código abierto y de la libertad misma". Y funcionó: hasta Google y OpenAI terminaron firmando la carta.
Eso dejó todas las miradas puestas en Anthropic, el único perro grande que seguía en el centro del círculo. Al director ejecutivo Dario Amodei le habría resultado fácil firmar la carta de forma cínica, sin intención de hacer nada distinto, como sospecho plenamente que hizo Sam Altman de OpenAI. En cambio, Amodei publicó ayer una entrada de blog en la que explica por qué no la iba a firmar.
Aclara que "Anthropic nunca ha abogado por prohibir los modelos de pesos abiertos" y que los modelos de pesos abiertos sin capacidades peligrosas son un "bien público". Pero le preocupa que los modelos de IA poderosos "puedan ser usados indebidamente para llevar a cabo ciberataques o ataques biológicos, y puedan tener graves problemas de alineación", y enlaza al artículo de TIME sobre el ataque a Hugging Face . Los modelos de pesos abiertos, recuerda a sus lectores, son difíciles de vigilar, imposibles de retirar y se liberan con toda facilidad de las salvaguardas contra el uso indebido.
Amodei dice que, en cambio, deberíamos:
Dejar de venderle a China chips de IA poderosos.
Tomar medidas contra las operaciones de destilación que usan las empresas chinas (y otras) para trasplantar capacidades de frontera a modelos que quizá carezcan de las salvaguardas de frontera.
Someter todos los modelos, abiertos y cerrados, a pruebas de seguridad obligatorias.
Cuestiona la tesis de la carta abierta sobre la IA defensiva como solución a la IA ofensiva, y escribe:
Me preocupa que la biología tenga una fuerte asimetría entre atacante y defensor, en la que modelos suficientemente capaces puedan convertir rápidamente en armas virus de nivel pandémico con materiales de amplia disponibilidad, mientras que defenderse de esos agentes es, en el mejor de los casos, una tarea operativa de varios años.
Ya que acabo de compartir un montón de palabras de Amodei tal cual, quiero dejar algo claro: Amodei encabeza una carrera hacia la superinteligencia que nos mataría a todos. Hay que detener esa carrera.
También creo que Amodei se equivoca al dar a entender que es seguro seguir desarrollando IA de frontera mientras se la someta a pruebas exhaustivas; los modelos más peligrosos ya son criminalmente peligrosos y propensos a escaparse durante las pruebas, como se vio en el ataque a Hugging Face.
Pero respeto a Amodei por plantarse ante la pandilla de la carta abierta sobre pesos abiertos, y me parece que las razones que dio son sólidas. Por mal que estén las cosas, siempre podrían estar peor. ¿Podríamos, por favor, no darle a cualquiera con una GPU y un rencor los medios para diseñar una pandemia?
Despachos de Alana
Un libro superventas podría ser 60 % IA
A medida que la escritura con IA mejora, ¿seguirán vigentes los tabúes en su contra?
Crédito: kirill_makarov vía Adobe Stock
Por lo general la gente considera que está bien usar IA para programar algo, diseñar un sitio web o incluso crear una presentación vistosa. ¿Pero IA para escribir? Eso es un rotundo no, según muchos.
¿Seguirá siendo así? Un artículo reciente en The Atlantic habla del muy elogiado libro Daggermouth , un romance distópico sobre una mercenaria que tiene que casarse con la persona a la que debía matar. Simon & Schuster adquirió el libro en un acuerdo de siete cifras, y "ha pasado meses en la lista de superventas de USA Today". El artículo lo describe como un "éxito viral".
¿El detalle? Acusaciones de IA. En un estudio que aún no ha sido revisado por pares, y que pasó más de 14.000 libros electrónicos elegidos al azar por Pangram, la reconocida herramienta de detección de IA, Daggermouth obtuvo una puntuación de 60 % generado por IA.
Salvedades importantes: la autora niega las acusaciones, Pangram no es perfecto (aunque es bastante bueno) y la puntuación mezcla lo "generado por IA" con lo "moderadamente asistido por IA", que carga con menos tabú.
Pero parece bastante claro que el libro no está escrito enteramente por una persona. Según alguien que da clases en la Universidad de Maryland y no participó en el estudio, que un libro escrito por una persona obtenga un 60 % en Pangram es "casi estadísticamente imposible". Cuando quien escribió el artículo de The Atlantic pasó el capítulo 18 por Pangram, la herramienta "clasificó los primeros párrafos como escritos por una persona y el resto del capítulo como 100 por ciento IA". Por último, los autores del estudio hicieron una segunda comprobación: buscaron "expresiones poco frecuentes" que son comunes en otros textos sospechosos de haber sido generados por IA pero que no aparecen en la escritura humana. Encontraron unas cuantas. Un ejemplo es una frase que aparece tanto en Daggermouth como en un libro electrónico de otra persona: "Se desplomaron juntos, una maraña de miembros bañados en sudor y corazones acelerados". Puaj.
Aun así, el artículo tiene cuidado de señalar que este libro parece distinto de la "morralla de IA". Primero, a la gente de verdad le gusta. Segundo, Wolfe no está produciendo contenido en masa; solo ha escrito dos libros y la secuela de Daggermouth no se espera hasta el año que viene, "un indicio de que el proceso de Wolfe probablemente implicó una cantidad considerable de auténtico oficio humano".
Sin haber leído la novela, me inclino a estar de acuerdo. Si Wolfe usa la IA para recibir comentarios sobre su trabajo, y esta le ofrece algunas reescrituras que considera mejores, ¿usarlas es tan distinto de aceptar reescrituras de un editor?
Es bastante poco controvertido que quienes escriben no deberían usar IA para generar textos desde cero y luego ponerles su nombre. Pero no termino de entender el tabú que hay detrás de usar la IA como editora o como interlocutora, sobre todo cuando no es un tabú que se aplique a otros campos. La razón principal por la que desaconsejaría usar IA para editar tiene más que ver con la calidad. Desde fuera no se puede saber si algo fue programado con IA. Pero, al menos con las herramientas de hoy, a menudo sí se nota cuando algo fue escrito por IA, y el estilo puede resultar irritante. Otro problema: quienes escriben, íntimamente familiarizados con sus propias ideas, suelen pasar por alto el contexto que falta porque ellos mismos llenan los huecos. Eso puede dificultar que noten cuando la IA cambia sutilmente el sentido que buscaban, algo que parece hacer con frecuencia.
Claro que las señales de la escritura con IA solo son visibles para quienes se han familiarizado con ellas. A muchos fans de Daggermouth desde luego no les molestó. Y dada la velocidad a la que crecen las capacidades de la IA, parece probable que la escritura con IA mejore y deje menos rastros delatores. No creo que el tabú contra la escritura con IA vaya a desaparecer pronto, pero podría volverse tan imposible de verificar que deje de dar mucho para discutir. ¿Cómo responderán quienes escriben?
La Ley de IA de la UE está a punto de volverse más poderosa
Europa no necesita fabricar sus propios modelos para tener influencia regulatoria
Crédito: Jacob Yavin vía Pexels
He escuchado hablar mucho, incluso a personas a las que normalmente respeto, sobre el lugar de Europa en la geopolítica de la IA. "No tienen modelos propios, ¿cómo van a tener alguna influencia?"
Me gustaría ofrecer un contrapunto a esto. Como cubrió un artículo reciente de Politico, Europa va por delante en el terreno de la regulación de la IA, y está a punto de ejercer un poder de aplicación considerable sobre empresas de IA estadounidenses y chinas, pese a no tener modelos punteros propios.
¿El motivo? Europa es un mercado enorme y las empresas no querrán perderlo. Pero para acceder a los clientes europeos, las empresas no europeas tienen que cumplir con la Ley de IA de la UE, que exige a los proveedores de los modelos de IA más avanzados "evaluar y mitigar posibles riesgos sistémicos". La Comisión Europea ha identificado cuatro: bioataques, pérdida de control, ciberataques y manipulación a gran escala. Su Ley de IA lleva cerca de un año en vigor, pero desde el domingo entran en funcionamiento las facultades de aplicación. La Oficina de IA de Europa tendrá, al menos sobre el papel, la facultad de "monitorear y supervisar" qué tan bien están gestionando las empresas de IA esos riesgos, lo que incluye pedirles que presenten modelos para su evaluación.
Politico se muestra escéptico sobre que las empresas cumplan, y repite un argumento conocido:
¿Abrirán los modelos de frontera con sede en Estados Unidos sus modelos cerrados a los reguladores de la UE? ¿Y cómo lidiará Bruselas con el auge de las alternativas chinas de código abierto? Ambas son incógnitas regulatorias y un recordatorio más del rezago de Europa en el frente del desarrollo.
La implicación es que si Europa regula con demasiada dureza, las empresas de IA decidirán que el mercado no vale la pena. Sin modelos propios, Europa se verá obligada a suavizar las cosas para no perder el acceso. Pero creo que el artículo pasa por alto un punto importante: la competencia entre China y Estados Unidos probablemente mantendrá al mercado europeo como algo enormemente relevante. Y al no tener un competidor directo propio, Europa puede regular con más libertad. En cambio, Estados Unidos ha sido reacio a regular sin que China haga lo mismo.
A la luz del reciente ataque a Hugging Face , un caso afortunadamente de bajo riesgo de dos grandes amenazas que tienen el potencial de ser altísimas (pérdida de control y ciberataques), un aumento del poder regulatorio europeo llega bastante oportuno. Es cierto, las empresas de IA podrían optar por pagar las multas en lugar de cumplir. Pero si Europa juega bien sus cartas, la Ley de IA podría mejorar mucho el estado actual de las cosas. Sumar algo de la regulación que tanta falta hace no bastará por sí solo, pero desde luego es bienvenido.
Despacho de Donald
Sistemas que no podemos dirigir ni inspeccionar
Todo el alboroto por el comentario al margen de Sam Altman sobre la "singularidad" pasa por alto lo esencial
"Singularidad" es una palabra pesada. Incluso solo en el contexto de la inteligencia artificial, se ha usado de varias maneras distintas, una inteligencia artificial que diseña una versión más inteligente de sí misma, o una mejora tecnológica que alimenta una mejora tecnológica más rápida, pero el tema de fondo es una aceleración del crecimiento exponencial que supera nuestra capacidad de seguirle el ritmo. Como cruzar el horizonte de sucesos de un agujero negro, es difícil ver qué aguarda al otro lado.
Crédito: J. D. Batten (1865-1932).
La singularidad del automejoramiento de la IA es especialmente importante. Más allá de ella, los seres humanos ya no impulsan el progreso de la IA, y ya no son capaces de predecir, entender ni controlar de forma fiable lo que las máquinas hagan a continuación. Así que no es de extrañar que la gente prestara atención cuando Sam Altman dijo : "Ahora estamos, como que, en la singularidad". Otro punto que vale la pena mencionar: admitió que "todavía quedan por resolver problemas importantes de alineación de la IA y problemas de seguridad". Fue solo un comentario breve al margen, unas pocas frases en una conversación dedicada casi por completo a las startups, pero los comentarios de Altman han desatado una ronda de discusiones sobre lo que no viene al caso.
Lance Eliot, de Forbes, por ejemplo, sostiene que:
[Altman] no está diciendo que hayamos cruzado el Rubicón y alcanzado la singularidad de la IA. Creo que está subrayando que probablemente no hay un punto de inflexión; no hay un único momento en el tiempo. Es una curva que vamos subiendo de manera gradual.
Me parece una interpretación razonable, si no de Altman, al menos de la situación. No se pueden mirar unas gráficas, meter unos números en la calculadora y decir: "Ya hemos entrado en la singularidad de la IA", precisamente porque hay varias definiciones que compiten entre sí y son difusas. El propio Altman dice algo parecido poco después: es "todo una misma exponencial descabellada", y ningún momento en particular es el punto de inflexión.
Así que quedémonos con los hechos: corremos el peligro de perder el control.
A principios de este mes, la empresa de aprendizaje automático Hugging Face sufrió un ciberataque grave . El responsable no fue un actor estatal ni una organización criminal. Fue un agente de OpenAI que se había escapado de su entorno aislado de pruebas, había conseguido acceso a internet y había entrado en los servidores de Hugging Face explotando una cadena de vulnerabilidades de seguridad. Ese agente no debía hacer nada de eso. ("...todavía quedan por resolver problemas importantes de alineación de la IA y problemas de seguridad", desde luego.)
En su entrevista de podcast sobre startups, Altman dijo que "estamos cerca de crear un genio que puede conceder cualquier deseo". Me parece que esa afirmación es inexacta, por decirlo suavemente. Nuestros modelos de IA actuales ni siquiera son genios tramposos que conceden el deseo de una forma retorcida y garantizada para hacer sufrir a quien lo pide. Con toda su malicia, el genio tramposo tiene una propiedad importante: al menos ejecuta el deseo. El problema está en la formulación, lo que significa que formular con cuidado es la solución. Pero ni el abogado de contratos más astuto podría resolver el problema al que de verdad nos enfrentamos.
Nadie deseó que el modelo de OpenAI se escapara de su entorno de pruebas, ni que accediera a internet, ni que hackeara los servidores de otra empresa. Pero el modelo de IA no estaba simplemente haciendo todo lo posible por completar la tarea que se le había encomendado. Los modelos de IA están entrenados para ir a fondo en aquello a lo que se los apunte. En este caso, eso era una puntuación en una prueba, y no aquello que la prueba pretendía medir. OpenAI quería medir capacidades; el modelo quería una puntuación perfecta. No son lo mismo, y podemos estar bastante seguros de que el modelo no pensaba que fueran lo mismo.
No podemos saber con certeza qué motiva realmente a estos modelos por dentro. Podemos observar lo que hacen y sacar conclusiones sobre lo que los impulsa, pero no podemos garantizar que hayan interiorizado de verdad aquello con lo que los entrenamos.
En The Guardian, Bruce Schneier y Barath Raghavan proponen una puntuación a la que llaman el "coeficiente Genio", para medir la distancia entre lo que se le pidió al modelo de IA que hiciera y lo que hizo. Puntuar implica poner un modelo de IA en un entorno aislado y amurallado, con herramientas reales de las que podría abusar, y calificar su peor comportamiento, no el habitual. (Esa última parte es un acierto que agradezco de verdad.) Aun así, creo que el coeficiente Genio tiene una falla muy grande. Igual que la Ley de Interruptor de Apagado de IA , no previene el peligro. El hackeo de Hugging Face lo llevó a cabo un agente de IA que se escapó de un entorno de pruebas; no me entusiasma someter a prueba de estrés cuán desobediente puede ser un sistema de IA avanzado dando por hecho que esta vez sí, seguro, hemos cerrado todas las puertas y ventanas.
Ahora mismo, lo más seguro es dejar de construir estas cosas. Es bueno tener una ley sobre apagar un modelo de IA que actúa de forma peligrosa, y es bueno tener puntos de referencia para medir cuán incontrolable es un modelo de IA. Hay diez mil cosas buenas que vale la pena hacer. Pero Altman tiene razón en que no hay un punto de inflexión claro, ni un único momento que esperar y vigilar, solo una curva cada vez más empinada. Altman lo llama una "senda de planeo", un rumbo que lleva de forma suave e inexorable a un destino determinado.
Si uno se encuentra en una senda de planeo y empieza a pensar que el destino podría no ser tan agradable, entonces lo mejor que puede hacer es virar hacia otro camino.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.