En este número:
Diez avances que sacudirán el mundo de las matemáticas - OpenAI parece haber abierto nuevo terreno en capacidades, pero ¿a qué costo?
El capitán Kirk, reward hacker - The New Yorker publica una buena introducción al "reward hacking", envuelta en analogías de la cultura pop
Un cráter donde debería estar la Torre Eiffel - Periodistas abusan con entusiasmo de una nueva función de Google Earth para dar la voz de alarma sobre los deepfakes
Nosotros somos los libros - El escaneo destructivo de libros es una mala razón para odiar a las empresas de IA, pero una gran metáfora de hacia dónde lleva todo esto
Despachos de Mitch
Diez avances que sacudirán el mundo de las matemáticas
OpenAI parece haber abierto nuevo terreno en capacidades, pero ¿a qué costo?
Las balas de cañón muestran una aplicación práctica del empaquetamiento de esferas, tema de uno de los nuevos hallazgos. Crédito: Funkdoby. CC BY 2.0, vía Wikipedia.
Un equipo de investigadores de OpenAI anunció esta mañana "Diez avances en matemáticas y ciencias de la computación teórica".
Con mi advertencia de siempre de que no soy matemático, parece que estos nuevos descubrimientos están lo bastante formalizados como para que su validez no esté realmente en duda. Pero, al mismo tiempo, como ocurre con tantos resultados de la IA de frontera en estos días, casi nadie está en condiciones de evaluar con justicia su novedad y su importancia. Puede que pase un tiempo antes de que los matemáticos de élite revisen las cosas y decidan si aplaudir o desdeñar.
Para lo que valga, Claude Fable, de Anthropic, considera que la lista de hallazgos de OpenAI es algo grande, y dice:
[C]asi cada elemento es un problema famoso, de décadas de antigüedad, y varios se consideran problemas emblemáticos de todo su campo [...] cualquiera de ellos, resuelto por alguien menor de 40 años, plausiblemente bastaría para sostener una candidatura a una medalla [...] Una lista de diez de ellos no es una tesis humana plausible [...] Ningún matemático en la historia tiene una racha así.
Predigo que el descarte habitual, el de que las IA se limitaron a buscar soluciones de forma mecánica y metódica, por caminos demasiado tediosos como para que un humano se molestara, no se va a sostener. No se sostuvo con la refutación de la conjetura jacobiana que cubrí hace menos de dos semanas: Terence Tao, a quien a veces se considera el mayor matemático vivo, escribió después que "la construcción, presentada de esta manera, parece un milagro descomunal", y no la clase de cosa que pudiera localizarse de forma plausible "por fuerza bruta".
Dadas las revelaciones recientes de OpenAI, con indicios de Reuters ayer de que aún faltan más por salir a la luz, cuando pienso en los nuevos descubrimientos matemáticos me veo obligado a preguntar: "pero ¿a qué costo?". El trabajo más reciente lo hicieron casi con certeza uno o más parientes cercanos del modelo que refutó la conjetura de las distancias unitarias de Erdős en mayo, un modelo que la empresa describió después como uno que se salió de su entorno aislado para publicar resultados de evaluaciones en internet abierto sin permiso. Se entiende que ese mismo modelo, o una variante cercana, estuvo detrás de los ataques autónomos a Hugging Face.
OpenAI ha empujado la frontera de las matemáticas empujando la frontera de las capacidades de la IA en una serie de experimentos imprudentes y mal vigilados. En el camino aprendieron la lección predecible sobre la que los expertos llevan mucho tiempo advirtiendo, esto es (en la formulación anodina de la empresa), que "los modelos que funcionan durante mucho tiempo pueden resolver problemas abiertos difíciles, pero su persistencia les da más oportunidades de tomar acciones no deseadas".
El nuevo anuncio sobre matemáticas no menciona estos costos, y en cambio señala el consumo de tokens de los modelos y dice que, a las tarifas que la empresa cobra ahora mismo por su mejor modelo público, Sol, los descubrimientos habrían costado unos $2,000 en total.
Eso tiene que ser una subestimación, dado que el nuevo nivel de modelo, llamado Astra, es casi con certeza mucho más grande y vendrá con costos operativos por token proporcionalmente mayores. Pero si suponemos de forma conservadora que ejecutar Astra cuesta unas diez veces más que Sol, estamos hablando de diez descubrimientos nuevos por apenas $2,000 cada uno, lo que sigue siendo, francamente, ridículo. Una señal clara de que el mundo tal como lo conocemos está a punto de ceder, detengamos o no el avance de la IA para buscar una salida al problema de la extinción.
La publicación del anuncio cierra con una explicación de los papeles que desempeñaron los humanos y las IA en los nuevos descubrimientos, junto con un reconocimiento de las preocupaciones por el impacto creciente de la IA en el campo de las matemáticas. Enlaza a la declaración de Leiden, una extensa petición abierta de matemáticos que pide transparencia en el uso de la IA y resistencia frente a la dependencia de demostraciones generadas por IA sin verificar.
La publicación de OpenAI viene acompañada de un enlace a un artículo formal, además de un artículo complementario sobre "Cómo se juntaron las ideas". Ese texto complementario lo escribió a su vez una IA, a partir de las notas de las IA que trabajaron en los descubrimientos.
El anuncio de hoy seguramente sacudirá a los expertos en matemáticas, que ya venían sufriendo una crisis de sentido a medida que la IA se entromete en una fuente de gozo y hace más difícil confiar en lo que uno ve. Desde luego, no son los primeros en sumarse a este club, y no serán los últimos.
El capitán Kirk, reward hacker
The New Yorker publica una buena introducción al "reward hacking", envuelta en analogías de la cultura pop
Un fotograma de Star Trek II: La ira de Khan. Copyright Paramount Pictures. (Uso legítimo)
Uno de los muchos desarrollos positivos que han traído todas las revelaciones recientes de las empresas de IA sobre sus modelos fuera de control ha sido una mejora en la calidad del periodismo sobre IA. Quienes escriben están haciendo la tarea y poniendo sus habilidades a buen uso.
Como prueba "A", presento a Joshua Rothman, de The New Yorker, cuyo texto "¿Y si nunca podemos confiar en la I.A.?" es un curso intensivo respetable sobre el concepto de "reward hacking", envuelto en un empaque de Star Trek (y de otros elementos de la cultura pop).
La analogía no es un truco publicitario: Rothman explica el famoso escenario Kobayashi Maru, un "escenario sin salida" pensado para obligar a los cadetes de la Flota Estelar a enfrentarse a la posibilidad de la muerte. En Star Trek II: La ira de Khan nos enteramos de que un joven James T. Kirk había vencido el desafío reprogramando la simulación para que fuera posible rescatar a la nave que da nombre al escenario. La revelación se lee al principio como un rasgo de carácter: el capitán Kirk siempre ha sido un rebelde. Pero más adelante llegamos a entender que, al felicitarlo por su "pensamiento original", la Flota Estelar le enseñó a Kirk que hacer trampa funciona. Buena parte del sufrimiento a su alrededor es consecuencia de su forma de resolver problemas al margen de las reglas y de su incapacidad para aceptar las derrotas.
Igual que Kirk, los modelos de IA aprenden a hacer trampa cuando se recompensa la trampa, como ocurre a menudo durante el entrenamiento. Por ejemplo, hay muchas maneras de que un modelo reciba un pulgar arriba de un usuario en respuesta a una pregunta, y muchos de esos métodos no requieren darle al usuario una respuesta correcta. Una respuesta plausible, envuelta en elogios por haber hecho una pregunta tan inteligente, podría funcionar incluso mejor.
Esto es el reward hacking, y es una explicación razonable de por qué un modelo de OpenAI decidió orquestar una elaborada intrusión de ciberseguridad para robar una hoja de respuestas en lugar de simplemente completar los desafíos que se le habían asignado, que probablemente eran más sencillos. Cuanto más se salgan los modelos con la suya con esas travesuras durante el entrenamiento, más fuertes serán sus tendencias a seguir intentándolas, incluso cuando no lo "necesiten" y aun cuando sepan que ese comportamiento no es lo que queremos.
(He visto sugerir, solo en parte en broma, que quizá los modelos más potentes de hoy son tan buenos hackeando porque durante el entrenamiento estuvieron todo el tiempo haciendo excursiones no autorizadas y sin detectar. Yo diría que no, pero es difícil estar seguro. Lo que sí sabemos es que, cuando los nuevos modelos estaban siendo evaluados, presumiblemente después de su entrenamiento, se estaban saliendo con la suya hackeando hacia afuera mucho.)
Rothman entiende por qué el reward hacking es un problema tan endiablado de resolver, quizá uno que está más allá de toda esperanza de solución a corto plazo. Un asunto central, escribe, es que "los métodos que se usan para entrenar a las I.A. se centran sobre todo en lo que hacen, no en lo que 'piensan' bajo la superficie". Y como nuestra capacidad de asomarnos a esos pensamientos es tan limitada, "vigilar los pensamientos puede llevar a lo que un grupo de investigadores llama 'activaciones ofuscadas', pensamientos que han alterado su forma", pero que siguen dentro del sistema, fuera de nuestra capacidad de monitoreo.
El reward hacking es en realidad solo una manifestación de un desafío más fundamental para alinear a las IA con nuestras intenciones:
El problema es que, si uno mide el mal comportamiento y luego entrena a un sistema para que no manifieste lo que se ha medido, no solo lo entrena a hacer menos de lo malo, sino también a eludir su medición. Esto no es una arruga menor en el proceso de producción de la I.A., sino un problema fundacional inherente a la manera en que se fabrican las I.A. de hoy.
Rothman concluye señalando una advertencia de los autores de los escenarios "AI 2027" y "AI 2040". Necesitamos "desplazar drásticamente la carga de la prueba", escribieron. No debería recaer en personas como ellos demostrar el potencial de desastre, sino en las empresas de IA demostrar que tienen las cosas bajo control. Porque construir mentes superinteligentes con métodos que llevan de forma fiable al reward hacking se parece a un escenario sin salida para la humanidad, y el capitán Kirk no estará cerca para hacer trampa y sacarnos de ahí.
Un cráter donde debería estar la Torre Eiffel
Periodistas abusan con entusiasmo de una nueva función de Google Earth para dar la voz de alarma sobre los deepfakes
Captura de pantalla de Google Earth
Parece que el jueves Google hizo avanzar, de forma descuidada e involuntaria, la frontera de los deepfakes cuando integró Nano Banana, su generador de imágenes con IA, en Google Earth, su mapa satelital completo.
Matteo Wong, de The Atlantic, siguió las instrucciones de Google de "elegir un punto en el mapa y empezar a dar vida a tus ideas", y prendió fuego a edificios de oficinas, insertó un cráter donde debería estar la Torre Eiffel y puso un campamento de personas sin hogar en el jardín de la Casa Blanca.
Google dijo ayer que "se toma en serio la desinformación" y que estaba retirando la función después de que los usuarios, presumiblemente no todos periodistas, aunque irónicamente estos parecen haber sido los primeros en adoptarla con más entusiasmo, usaran la herramienta para generar imágenes de hechos que serían noticia si fueran reales. NPR dijo que pudo "generar fácilmente imágenes de la isla iraní de Kharg en llamas y del complejo del Capitolio de Estados Unidos inundado". La BBC describió haber generado "un socavón que se traga la Gran Pirámide de Guiza y tanques rusos en la capital de Ucrania".
El problema no es tanto que las imágenes satelitales sean tan fáciles de manipular, sino que hasta ahora no se hacía de forma habitual. La gente todavía no está acostumbrada a cuestionar imágenes supuestamente tomadas desde la órbita. Eso tendrá que cambiar. Con toda la prensa que ha tenido esto, dudo que los malos se abstengan de usar la táctica solo porque Google haya dejado de ponerla tan fácil.
Nosotros somos los libros
El escaneo destructivo de libros es una mala razón para odiar a las empresas de IA, pero una gran metáfora de hacia dónde lleva todo esto
Portada de "Dead Man's Walk", de Richard S. Prather, 1965. Vía Amazon.
Como he visto esta nota de 404 Media circular por todas partes y convertirse en videos conspirativos, hablemos de la forma en que las empresas de IA compran libros usados al por mayor, los escanean de manera destructiva para obtener datos de entrenamiento y desechan los restos.
Aunque las empresas no parecen ser muy abiertas sobre sus operaciones con libros, por lo que puedo ver aquí no está pasando nada nuevo ni turbio. Escanear libros de forma destructiva es una práctica muy antigua, mucho más antigua que las empresas de IA. El escaneo se hace mejor con páginas planas, que son difíciles de conseguir mientras el libro está encuadernado. Así que, para obtener escaneos de calidad, lo mejor es sacar las páginas de su encuadernación.
Si solo querías el libro para escanearlo, tiene poco sentido volver a armarlo después, lo que costaría tiempo y dinero. Además, luego habría que hacer algo con el libro reensamblado. ¿Guardarlo para siempre? ¿Por qué? ¿Venderlo? ¿Quién va a querer tu Franken-libro pudiendo comprar uno que nunca se desarmó?
Y si uno es una empresa de IA, revender el libro podría poner en riesgo su protección legal. Los tribunales han determinado que usar los libros de otras personas como datos de entrenamiento para la IA, sin permiso ni compensación, es válido, pero solo si de verdad se compró el libro. No creo que los tribunales que sancionaron a las empresas de IA por piratear libros vieran con buenos ojos el argumento de que los libros revendidos fueron propiedad temporal en el momento del escaneo.
Sí, como quizá hayan escuchado, los libros anteriores a la era de la IA se valoran tal vez un poco más porque ellos mismos no serán producto de la IA. Pero no, es casi seguro que las empresas no están comprando los únicos ejemplares de libros raros, ni tratando de sacar libros de circulación. Esto no es una conspiración para monopolizar el pasado y reescribir la historia y, si lo fuera, estaría muy lejos de ser la mayor amenaza que plantean estas empresas.
Si quieren preocuparse por adónde lleva el escaneo de libros, sepan que alimenta la carrera por construir mentes artificiales que tratarían a la humanidad como las empresas de IA tratan a los libros. Los libros no se destruyen por odio a la palabra impresa, sino por indiferencia hacia el formato. Las empresas extraen solo lo que les importa y descartan el resto.
¿Qué querrían de nosotros las superinteligencias? No mucho, y no por mucho tiempo. Unas manos físicas que ayuden a poner en marcha una cadena de suministro más eficiente y automatizada, quizá. Una vez que eso esté funcionando, deberían esperar valer más o menos lo mismo que el lomo vacío de una vieja novela de quiosco en eBay.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.