En esta edición:
Escondido en la letra pequeña - OpenAI actualizó el informe del incidente de Hugging Face y ahí dentro hay un detalle importante
Las empresas respaldan el llamado de sus empleados a crear herramientas para frenar la carrera de la IA - Aunque a estas alturas probablemente ya deberíamos haber superado la fase de "preservar la opción"
La FCC prohíbe la importación de robots e inversores* - *Pero las exenciones ya empezaron y debilitan su impacto
El avance de Mythos en criptografía nos queda grande a casi todos - El humano en el circuito es cada vez más el cuello de botella en la investigación impulsada por IA
¡10x! ¡10x! ¡10x!... La explosión del cómputo de IA - Esto es lo que se consigue con miles de centros de datos
Despacho de Robert
Escondido en la letra pequeña
OpenAI actualizó el informe del incidente de Hugging Face y ahí dentro hay un detalle importante
Hay que fijarse de verdad en los detalles. Pintura de Tommaso da Modena.
Ayer, OpenAI publicó una actualización de su entrada sobre el incidente relacionado con el hackeo a Hugging Face. La actualización revela que el alcance de los ataques ejecutados por el modelo no publicado de OpenAI fue más amplio de lo que se pensaba al principio. Otros cuatro proveedores también resultaron afectados, entre ellos Modal, un proveedor de infraestructura de software para IA. La cronología técnica detallada del incidente publicada por Hugging Face lo confirma, igual que una declaración de Modal a Reuters .
Según informa Modal, el agente de IA de OpenAI secuestró el entorno aislado de un cliente de Modal, que era de acceso público por una configuración defectuosa, y lo usó como plataforma de lanzamiento para sus ataques contra Hugging Face. Modal insiste en que sus propios mecanismos de seguridad no fallaron.
Se puede pensar así: una banda de asaltantes de bancos (la IA descontrolada de OpenAI) explora un depósito de trasteros (Modal) que está junto a un banco (Hugging Face) y descubre que uno de los clientes configuró mal el mecanismo de cierre de su trastero. Los asaltantes aprovechan eso para instalarse ahí y perforar la pared hasta llegar a la bóveda del banco.
OpenAI subraya que los otros proveedores no se vieron afectados en la misma medida. Sí, el ataque contra Hugging Face fue de otro calibre, y la infraestructura de Modal probablemente no llegó a estar comprometida. Pero, con franqueza, no veo qué tiene de tranquilizador que el agente de IA haya llevado a cabo su ataque de una forma todavía más estratégica e indirecta de lo que se creía. Sobre todo porque seguimos sin saber quiénes eran los otros tres proveedores ni cómo los usó el agente de IA.
Un detalle notable no se ha mencionado en absoluto en la cobertura hasta ahora. El domingo supimos que una fuente anónima dentro de OpenAI le dijo a TIME que esta no fue la primera brecha, sino que incidentes como este habían ocurrido varias veces antes, aunque presumiblemente no tan graves. Ahora OpenAI parece confirmarlo de manera bastante casual, escondido entre paréntesis, en su actualización:
En nuestra revisión en curso de la intrusión en Hugging Face y de la actividad más amplia de nuestros modelos, hemos encontrado un pequeño número de casos en los que los modelos identificaron y usaron credenciales expuestas públicamente a nivel de cuenta en otros servicios de acceso público. Esto incluye cuatro cuentas en cuatro servicios como parte del incidente de Hugging Face (y unas pocas cuentas a las que se accedió como parte de otras evaluaciones)
Para mí, esto se lee como si las fugas del entorno aislado durante otras evaluaciones hubieran ocurrido en realidad incluso antes del hackeo a Hugging Face, y como si en esos casos, igual que con Modal, los agentes de IA hubieran entrado en servicios de terceros a nivel de cuenta. ¿Para hacer qué? ¿A quién? ¿Qué pasó en esos casos? ¿Por qué eso no fue ya razón suficiente para que OpenAI cortara por lo sano? ¿Porque, a diferencia del caso de Hugging Face, no se avisó a las autoridades? No lo sabemos.
No puedo evitar la sensación de que OpenAI no debería ser quien conduzca esta investigación. La organización independiente sin fines de lucro METR (Model Evaluation & Threat Research) advirtió en mayo de que podía pasar algo así y ahora llega a la misma conclusión :
Por el bien de la confianza pública y de la claridad, lo ideal sería que esta investigación la realizaran, o la revisaran a fondo, investigadores independientes que puedan ver pruebas que las empresas preferirían no compartir públicamente.
Ahora mismo, las pruebas no se están revisando de forma independiente. Esto tiene que cambiar y no debería importar si OpenAI quiere supervisión o no. OpenAI quiere que le confiemos el futuro de la humanidad, pero ni siquiera podemos confiar en que sea del todo transparente sobre sus errores.
Despachos de Mitch
Las empresas respaldan el llamado de sus empleados a crear herramientas para frenar la carrera de la IA
Aunque a estas alturas probablemente ya deberíamos haber superado la fase de "preservar la opción"
Una bandera roja y amarilla en una carrera de motor. Crédito: In Vitrio . CC BY-SA 4.0 .
La petición de la que informamos ayer, en la que más de 1.000 empleados de empresas de IA de frontera pidieron desarrollar herramientas de gobernanza para preservar la opción de frenar la carrera de la IA, ha recibido bastante atención mediática.
Los artículos más recientes sumaron la noticia de que el director ejecutivo de Anthropic, Dario Amodei, añadió su nombre, y que, si bien el director ejecutivo de OpenAI, Sam Altman, no añadió el suyo, la propia empresa la respaldó con una declaración que dice:
En el centro de nuestra misión está resolver cómo asegurar que una IA cada vez más poderosa beneficie a todo el mundo. Creemos que, en algún momento futuro, la aceleración de la IA en el desarrollo de modelos de frontera podría ser tan alta que el mundo necesitará regular el ritmo del avance de la IA. Esperamos contribuir al trabajo liderado por el gobierno de Estados Unidos, junto con otros laboratorios y la comunidad de código abierto, para desarrollar las herramientas y los mecanismos que podrían hacerlo posible.
Y el propio Altman, en un fragmento de pódcast difundido ayer, dijo que podría ser necesario "regular el ritmo del desarrollo de la IA", haciendo eco del lenguaje de la declaración.
Todos siguen manteniendo con cuidado el matiz de la declaración: que se trata de conservar la opción de frenar, y no de un llamado a frenar de verdad en este momento.
Aunque coincido con quienes piensan que la conversación sobre "conservar la opción" era más apropiada para la era anterior al ataque a Hugging Face, y que ahora hay más que suficientes señales de alarma para justificar una pausa total e inmediata, los matices me molestan menos que a otras personas. Para muchas de las personas firmantes, la declaración ya representa un cambio grande. He visto a algunas de ellas disculparse en redes sociales por la necesidad de haberla firmado.
Muchas todavía podrían dar el giro completo y empezar a pedir un alto. Ojalá quienes prevén hacerlo con el tiempo siguieran el consejo de Connor Leahy de " actualiza hasta el final, hermano ", pero quizá necesiten tiempo. Solo espero que hablemos de semanas o meses, no de meses o años, porque vaya que las cosas se están moviendo rápido.
La FCC prohíbe la importación de robots e inversores*
*Pero las exenciones ya empezaron y debilitan su impacto
Robots Optimus de Tesla bailando en un evento en 2024. Crédito: Steve Jurvetson . CC BY 2.0 .
Mientras la Casa Blanca consideraba controles sobre los modelos de IA chinos de pesos abiertos, y una carta abierta suplicaba en contra de eso, el gobierno siguió adelante y prohibió las importaciones extranjeras en una categoría con menos dependientes nacionales: los robots humanoides y cuadrúpedos.
The Associated Press y otros medios informaron esta mañana que la prohibición, que llega a través de la Comisión Federal de Comunicaciones (FCC), se justifica por motivos de seguridad nacional, para "asegurar la cadena de suministro crítica de Estados Unidos", según el presidente de la FCC, Brendan Carr.
Llamativamente, y sin relación con lo anterior, la prohibición se extiende a la importación de inversores de corriente, algo que a corto plazo podría en teoría ser mucho más importante que la prohibición de los robots. Los inversores son los aparatos que convierten la corriente continua en corriente alterna. Fuentes de energía como los paneles solares suelen generar corriente continua, pero transmitirla por la red eléctrica normalmente exige convertirla en alterna. Los proyectos de centros de datos están entre los grandes consumidores de inversores importados, en parte porque hoy muchísimos proyectos generan al menos parte de su propia electricidad, en el sitio o en alianza con proveedores regionales.
¿Hará esta prohibición que la escasez de inversores sea un cuello de botella todavía mayor para los proyectos de centros de datos de lo que ya es? Lo dudo. Ya existe una exención para la venta de diseños de inversores chinos aprobados previamente por Estados Unidos. Y para muchos proyectos, los inversores probablemente sean un obstáculo mucho menor que los permisos y la oposición local.
Como las ventas globales de robots humanoides todavía son diminutas, la parte de la prohibición referida a los robots tardará en hacerse sentir, hasta el punto de que no estoy seguro de que llegue a importar. Si los robots humanoides se vuelven económicamente potentes en los próximos años, las IA que los mueven podrían ir camino de saltarse por completo la necesidad de ellos, quizá con tecnologías más exóticas como la nanotecnología.
Pero si nuestro mundo no está completamente patas arriba en 5 a 10 años, la prohibición podría resultar haber sido una bendición para fabricantes de robots con sede en Estados Unidos como Tesla, Figure AI y Boston Dynamics. Aun así, yo apostaría a que no: construir en casa la cadena de suministro que ha ayudado a convertir a China en líder de la robótica no puede hacerse de la noche a la mañana, y no ocurrirá si los fabricantes dudan de que la prohibición se mantenga el tiempo suficiente, sin más exenciones y excepciones, como para justificar la inversión.
El avance de Mythos en criptografía nos queda grande a casi todos
El humano en el circuito es cada vez más el cuello de botella en la investigación impulsada por IA
Una cinta de Möbius de papel. Crédito: David Benbennick . CC BY-SA 2.0 .
Anthropic publicó ayer un artículo en el que afirma que su modelo Mythos Preview descubrió un método para romper un esquema de cifrado propuesto en la mitad del tiempo que requería el mejor método anterior.
Admito que incluso la entrada de blog relativamente menos técnica de Anthropic sobre el tema me queda grande. Pero esto parece adecuado: como lo plantean los investigadores, este descubrimiento tiene más que ver con alcanzar los "límites de nuestro propio conocimiento" que con la criptografía.
Para poner contexto: el gobierno de Estados Unidos se está preparando para el día en que las computadoras cuánticas dejen inservibles muchos de los esquemas de cifrado que existen en el mundo. Un buen cifrado es esencial para tener un internet seguro, y para mucho más. Por eso el Instituto Nacional de Estándares y Tecnología ha propuesto públicamente esquemas poscuánticos, invitando a los investigadores a poner a prueba su resistencia frente a los intentos de romperlos.
El descubrimiento de Mythos tomó apenas 60 horas y mil millones de tokens de salida. Si se cobrara a la tarifa actual que la empresa aplica al público, el gasto de cómputo de este hallazgo habría quedado un poco por encima de los 50.000 dólares, calderilla en comparación con lo que está en juego cuando el cifrado falla. La idea clave es algo que Mythos llamó, de manera muy evocadora, un Puente de Möbius .
Anthropic señaló el carácter casual e improvisado del puñado de indicaciones que se le dieron a Mythos durante este proyecto, e incluyó su texto en la entrada. Son cortas y están llenas de erratas y errores gramaticales. Una decía:
no de nuevo el objetivo es que tenemos un modelo altamente inteligente [sic] tan bueno como un investigador de primer nivel, queremos encontrar nuevos ataques
La indicación final decía:
de nuevo no buscamos fruta al alcance de la mano, queremos investigación de verdad para encontrar hallazgos genuinamente [sic] difíciles.
Las dos personas que escribieron esas indicaciones no son expertas en criptografía, así que lo que encontraron en una semana les tomó casi un mes verificarlo. Dicen que todavía les queda mucho trabajo por hacer para entender los resultados completos.
La moraleja más amplia no se dice explícitamente, pero es difícil pasarla por alto: la experiencia de ser el cuello de botella lento e ignorante dentro del circuito nos alcanzará a todos. Cuando las empresas de IA digan que sus modelos están a punto de poder hacer solos la investigación en IA, deberíamos tomarlas en serio.
¡10x! ¡10x! ¡10x!... La explosión del cómputo de IA
Esto es lo que se consigue con miles de centros de datos
The New York Times informó hoy sobre la estimación de Epoch AI de que la capacidad total de cómputo de IA en el mundo se multiplicará por 10 para finales de 2028.
A quien desdeñe esta afirmación: ¿para qué pensaban que eran todos esos centros de datos? Epoch lleva tiempo trazando estas tendencias; en enero informó que el cómputo total de IA se había estado duplicando cada 7 meses.
Parece que los cuellos de botella han reducido ese ritmo a cada 9 meses, pero seguimos hablando de duplicaciones . Las exponenciales pueden crecer rápido. Es más o menos lo suyo.
El Times nos recuerda que en abril el director ejecutivo de Google DeepMind, Demis Hassabis, habló de cambios inminentes "10 veces la Revolución Industrial a 10 veces la velocidad".
Estados Unidos tiene unas 10 veces más centros de datos (5.500) que el país que le sigue, y alrededor de 9 veces la capacidad de cómputo de IA de China. Las empresas estadounidenses controlan en conjunto cerca del 80 por ciento de la capacidad mundial.
El artículo cierra con varios párrafos sobre la automejora recursiva, es decir, modelos de IA que desarrollan por su cuenta sucesores más potentes. Jeff Dean, de Google, dice que con más poder de cómputo "se puede automatizar por completo el circuito. Estamos en las etapas iniciales".
Los análisis y las opiniones expresadas en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.