En este número:
Los riesgos de hacer pensar a la arena - Demis Hassabis, de Google DeepMind, propone un régimen regulatorio para la IA
Una conversación escalofriante - Daniel Kokotajlo lleva el debate sobre los riesgos de la IA al público general
Nueva York impone una moratoria de un año a los centros de datos - Más estadounidenses se oponen a los centros de datos que a las centrales nucleares en su zona, según Gallup
Despachos de Robert
Los riesgos de hacer pensar a la arena
Demis Hassabis, de Google DeepMind, propone un régimen regulatorio para la IA
Arena que se escurre entre los dedos.
Hace exactamente un mes, Dean Ball, exasesor de IA de la Casa Blanca y actual jefe de Futuros Estratégicos en OpenAI, escribió que Estados Unidos tiene un régimen informal de licencias para la IA, aunque sin reglas coherentes ni límites firmes. Esta mañana, Demis Hassabis publicó su propuesta de una versión formal.
El director ejecutivo de Google DeepMind propone que se cree un organismo estadounidense de estándares para la IA, similar a la Autoridad Reguladora de la Industria Financiera (FINRA), que supervisa Wall Street. En una entrevista con Axios, Hassabis dijo que le gustaría que ese consejo fuera mayoritariamente independiente y estuviera integrado por ganadores del Premio Turing y otros expertos.
Ese nuevo organismo, y las pruebas de referencia que desarrolle, determinaría qué modelos califican como "de clase frontera". Se aplicarían pautas más estrictas a los "Laboratorios de Frontera" que están detrás de esos modelos, por ejemplo, en cuanto a los controles de seguridad del personal y los presupuestos dedicados a la seguridad. Los Laboratorios de Frontera también estarían obligados a que el nuevo organismo evaluara todos sus modelos nuevos 30 días antes del lanzamiento, con atención a los riesgos cibernéticos, biológicos y de engaño. Aprobar esas pruebas acabaría siendo un requisito para lanzar el modelo en el mercado estadounidense. El sistema está pensado para regular los modelos de frontera de todo el mundo sin ahogar a las startups ni a la investigación académica.
Hay que reconocerlo: probablemente sea la propuesta de régimen regulatorio más audaz y concreta que haya hecho hasta hoy el director ejecutivo de un laboratorio de frontera. Hassabis ha pensado en que un régimen de licencias así debe ser lo más universal posible y en que las pruebas de referencia deben diseñarse de manera que los laboratorios de frontera no puedan entrenar de antemano a sus IA específicamente para superarlas. Esto es importante para que las IA no adopten comportamientos que maximicen las puntuaciones del entrenamiento en lugar de lo que los ingenieros querían que esas puntuaciones representaran, como comentamos hace poco.
Sobre todo, sin embargo, menciona de forma bastante casual y escondida en medio de un párrafo que una de las tareas de la institución que propone podría ser coordinar una desaceleración de la carrera, "si la gravedad de la situación lo exige". Esto resulta sorprendentemente vago tratándose de una de las partes más importantes de su propuesta. ¿Quién tomaría esa decisión? ¿Cómo ocurriría? ¿Y no es la situación ya bastante grave?
Veamos cómo describe él la situación en la que nos encontramos ahora:
En este momento estamos atrapados en una carrera comercial y geopolítica extremadamente intensa y de múltiples capas. Si bien esta dinámica competitiva impulsa un progreso rápido y acelera los beneficios increíbles, los avances en la frontera están superando nuestra comprensión de la tecnología. Nadie en el mundo sabe con certeza qué va a pasar de aquí en adelante, y hasta los expertos discrepan.
Va incluso más lejos. Hassabis escribe que, si bien cree que los riesgos técnicos tienen solución, eso solo es posible si la industria y la sociedad se dan el tiempo necesario, y que ahora mismo no lo estamos haciendo. Es el pasaje más fuerte y convincente de su texto, y refuta su propia propuesta. Después de lanzar esa advertencia clara, de predecir diez revoluciones industriales a diez veces la velocidad en la próxima década, de hablar de IA que se automejoran de forma recursiva, de admitir que nadie sabe exactamente qué nos espera... ¿su propuesta es avanzar con "optimismo cauteloso", una ventana voluntaria de pruebas previas de 30 días y una nueva prueba de referencia?
Además, una dinámica de carrera no se resuelve de forma unilateral. Claro, sobre el papel, este organismo estadounidense tendría jurisdicción universal sobre todos los modelos. Pero, ¿sometería la china Z.ai su GLM 5.2 a 30 días de pruebas previas solo para acceder al mercado estadounidense? ¿Se lo permitiría Pekín, aunque quisieran?
Hassabis describe las posibilidades de la IA en términos poéticos. Habla de "amaneceres" y "milagros", de las "estribaciones de la singularidad" y de "hacer pensar a la arena". De los riesgos habla en términos mucho más prosaicos. Pero cuanto más brillante es la luz, más nítida es la sombra. Si tomamos en serio lo que dice sobre lo que está en juego, parece necesario que nos tomemos el tiempo de hacerlo bien. Hassabis ha escrito un alegato sólido a favor de detenerse y lo ha grapado a un plan para seguir corriendo. No existe eso de correr con cautela. Enseñaron a pensar a la arena y ahora se nos escurre entre los dedos.
Una conversación escalofriante
Daniel Kokotajlo lleva el debate sobre los riesgos de la IA al público general
Esta semana, Daniel Kokotajlo, el investigador de IA que dirige el AI Futures Project, apareció en el popularísimo canal de YouTube The Diary of a CEO. Durante dos horas conversó con el presentador Steven Bartlett sobre AI 2040, el nuevo escenario de su equipo que ya hemos tratado en varias ocasiones.
"El problema de fondo es que la gente todavía no se lo está tomando en serio", dice el exinvestigador de gobernanza de OpenAI, que aprovecha sus dos horas en un espacio amable para presentar sus advertencias ante un público amplio. Bartlett hace un esfuerzo notable por darle a Kokotajlo el peso moral que merece. Menciona de forma explícita los 2 millones de dólares en acciones a los que Kokotajlo estuvo dispuesto a renunciar porque se negó a firmar la cláusula de no menosprecio de OpenAI, que le habría prohibido criticar a la empresa tras su salida.
Kokotajlo ve un 70% de probabilidad de un desenlace catastrófico a partir del desarrollo actual de la IA, y parece capaz de transmitir la gravedad de la situación. En un momento especialmente llamativo, Bartlett habla con Kokotajlo sobre las consecuencias personales que él extrae de sus predicciones. Cuando Kokotajlo describe con cuánto cuidado su esposa y él han sopesado si tener hijos debido a sus plazos acortados, Bartlett lo califica de "escalofriante", una valoración que repite varias veces.
En su mensaje de cierre, Kokotajlo advierte contra descartar los peligros de la inteligencia artificial simplemente porque suenan a ciencia ficción.
Ustedes van a escuchar muchas cosas, y ya han estado escuchando muchas cosas sobre la IA, y va a sonar a ciencia ficción. Pero a veces las cosas que suenan a ciencia ficción ocurren en la realidad. Y, de hecho, muchas veces a lo largo de la historia, cosas que antes eran ciencia ficción se han vuelto realidad.
Por supuesto que tiene razón en eso. No hace mucho, la propia IA todavía era ciencia ficción. Y que H. G. Wells concibiera por primera vez las "bombas atómicas" en una novela de 1914 no hizo menos real el peligro de las armas nucleares unas décadas después.
En conjunto, Kokotajlo consiguió transmitir tanto lo grave de la situación como que todavía hay esperanza.
BARTLETT: ¿Cree que ya es demasiado tarde?
KOKOTAJLO: No, no creo que sea demasiado tarde.
KOKOTAJLO: Si creyera que es demasiado tarde, no estaría aquí.
BARTLETT: ¿Dónde estaría?
KOKOTAJLO: Con mi familia.
Mi colega Mitch escribió el mes pasado que algunos desastres se construyen de a una excusa y una racionalización por vez. Ojalá también podamos lograr la prevención de a una conversación escalofriante por vez.
Despacho de Donald
Nueva York impone una moratoria de un año a los centros de datos
Más estadounidenses se oponen a los centros de datos que a las centrales nucleares en su zona, según Gallup
Nueva York se ha convertido en el primer estado del país en imponer una moratoria a la construcción de centros de datos. La gobernadora Kathy Hochul firmó una orden ejecutiva que suspende los permisos ambientales para instalaciones que consuman al menos 50 megavatios. La orden ejecutiva dura un año y busca dar a los reguladores tiempo para redactar estándares sobre demanda energética, uso de agua y otras cuestiones. La legislatura estatal de Nueva York aprobó hace poco su propia moratoria de un año, dirigida a instalaciones que consuman más de 20 megavatios; por ahora, Hochul no ha firmado ni vetado ese proyecto de ley.
No todos los gobiernos están reaccionando igual ante los centros de datos, como señaló Reuters. A comienzos de este año, la gobernadora Janet Mills, de Maine, vetó una ley que habría impuesto una moratoria de dieciocho meses a las instalaciones que consumen más de 20 megavatios. En los Países Bajos, Ámsterdam prohibió los nuevos centros de datos y las ampliaciones de los existentes hasta 2030; una congelación similar en los alrededores de Dublín, Irlanda, vigente desde 2021, se levantó hace poco.
Ya sea que su preocupación sea el uso del agua, la contaminación acústica u otra cosa, a la gente común le disgustan mucho los centros de datos. Una encuesta de Gallup de marzo encontró que el 71% de los estadounidenses se opone a que haya centros de datos en su comunidad, más de los que se oponen a vivir cerca de una central nuclear. Es una oposición bipartidista: demócratas, republicanos e independientes eran todos más propensos a oponerse que a apoyar los centros de datos. También es una oposición fuerte: como comparación, "desde que Gallup preguntó por primera vez sobre las centrales nucleares en 2001, el punto máximo de oposición ha sido del 63%".
Aunque el apoyo en el Congreso a una moratoria de centros de datos se concentra entre los demócratas (y Bernie Sanders), eso no significa que los votantes vayan a organizarse siguiendo esas líneas. La oposición a los centros de datos, por citar a Charlie Berens, es "el tema más bipartidista desde la cerveza".
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de cada colaborador y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.