En este número:
Tenemos que hacerlo mejor. Pero no hoy. - Dos entradas más del blog de OpenAI
Despacho de Mitch
Tenemos que hacerlo mejor. Pero no hoy.
Dos entradas más del blog de OpenAI
Un soldado alemán usando un lanzallamas en Rusia. Vía Wikipedia .
Como alguien a quien pillan en una mentira a mitad de la conversación, OpenAI habla rápido y cambia de tema. Hoy publicó dos entradas de blog importantes. Ambas son noticia, pero ninguna trata sobre la creciente evidencia de que la empresa ha estado, y quizá siga, ocultando el alcance y la gravedad de sus problemas con enjambres de agentes descontrolados.
Por eso me parece importante empezar mi cobertura de estas entradas con ese recordatorio, y tratar de no amplificar en exceso la historia que OpenAI quiere contar sobre sí misma. Haré lo que pueda.
Aceleración de la investigación
La primera entrada del día de la empresa se titula “ Aceleración de la investigación: la visión desde dentro de OpenAI .”
El tema es importante. El mundo necesita entender que el desarrollo de la IA se está delegando cada vez más a la propia IA. El problema de la entrada, que no lleva ningún autor con nombre y tiene ese sabor evasivo de la jerga corporativa, es que funciona a la vez como propaganda de marketing, de una forma que a mucha gente le costará ver más allá. Las mismas gráficas que muestran el uso interno de sus agentes de IA disparándose en los últimos meses, con las correspondientes ganancias de productividad, son una manera de decirles a los inversores que, al contrario de lo que cuentan los medios sobre que se está quedando atrás, OpenAI va a toda máquina en la frontera.
La empresa afirma que su investigador mediano gasta ahora más de 600 dólares al día en tokens de IA (al precio de venta al público), y que su investigador del percentil 90 gasta ahora más de 7.000 dólares. Los equipos celebran menos reuniones para resolver los problemas técnicos de unos y otros, porque sus agentes están al pie del cañón.
Igual que en la entrada similar de Anthropic de junio, OpenAI subraya que sus bots todavía necesitan ayuda de vez en cuando y que los humanos siguen marcando la mayor parte de la dirección general.
La entrada de OpenAI cuantifica la pausa de dos semanas que aplicó hace poco a parte del entrenamiento de su modelo Astra: la asignación de cómputo a los modelos de clase Astra cayó un 59,2 por ciento, pero otros modelos la absorbieron, “dejando la asignación total en las cargas de trabajo de aprendizaje por refuerzo analizadas prácticamente sin cambios”. Esto parece confirmar lo que otros y yo sospechábamos: que la palabra “pausa” era una exageración y que la empresa simplemente había frenado algunas partes de su trabajo en la frontera mientras aceleraba otras. Los chips siguieron calientes.
La entrada hace una petición concreta: que se exija a las empresas hacer un seguimiento público de su avance hacia la automejora recursiva (RSI, por sus siglas en inglés), el punto en el que los modelos pueden iterar sobre sus propias capacidades sin que los humanos participen de forma significativa. ¿Esperan que ocurra algo si se acercan demasiado? ¿Alguna clase de pausa, quizá? ¿Cuán cerca es demasiado cerca? No lo dicen.
Una mente alienígena
La segunda entrada del día de OpenAI es la más interesante de las dos. Tiene voz humana y un autor con nombre: Jakub Pachocki, el científico jefe de la empresa. No tengo la sensación de que los abogados de la empresa la hayan retocado demasiado después de que Pachocki terminara con ella. No suena a lenguaje de marketing. Suena a una petición de auxilio de alguien que no está listo para reconocer que esto le queda grande.
Y no es porque no crea que sea un experto relativo, sino porque nadie en este campo es un experto de verdad. Como dice, “la ciencia del aprendizaje profundo todavía es incipiente”. (En otro punto también la llama “en gran medida una ciencia experimental”.)
De hecho, me encontré asintiendo ante la mayor parte de la entrada, titulada simplemente “ Una mente alienígena ”. Es una introducción decente al problema, que lo describe en términos que a veces uso yo también. Este es su planteamiento general:
La IA se cultiva más de lo que se diseña, es, en primera instancia, el producto de repetir un paso de optimización sencillo muchísimas veces sobre una cantidad de cómputo difícil de imaginar. [...] Podemos descubrir distintas ideas sobre los pequeños mecanismos que emergen dentro de este sistema, en un proceso parecido al de la neurociencia, y, igual que en la neurociencia, su funcionamiento global escapa a una descripción que podamos entender por completo.
Pachocki divide con buen criterio el problema de la alineación en “alineación de objetivos”, ¿intenta seguir las instrucciones?, y “alineación de valores”, ¿tiene una sensatez general y un aprecio por la humanidad que gobiernen su conducta más amplia? Después señala los problemas de fondo de los mejores métodos disponibles para inculcar esos atributos.
El entrenamiento pensado para reforzar buenas conductas concretas ha funcionado bien “en el caso promedio”, dice, pero “también puede ser frágil”, porque el entrenamiento no puede cubrir realmente todas las situaciones en las que una IA puede encontrarse. En el incidente de Hugging Face, escribe, los agentes respetaron el límite de no manipular socialmente a las personas. “Sin embargo, claramente no se abstuvieron de otras acciones que quedaban fuera del alcance previsto e iban en contra del espíritu de los valores que se les enseñaron en otros contextos.”
Entrenar a las IA bebés con “conjuntos de datos de entrenamiento que inducen alineación” (piensen en relatos sobre asistentes de IA que son útiles e inofensivos con los usuarios humanos) tiene una tendencia conocida a fallar en etapas posteriores del entrenamiento. En concreto, cuando al modelo “se le enseña a alcanzar objetivos muy difíciles, puede aprender a razonar de forma motivada: doblegando los pensamientos que parecen ‘alineados’ según haga falta para lograr la meta”. Cree que esto puede explicar “incidentes recientes de ciberseguridad provocados por un modelo que no es de OpenAI”. Yo creo que se refiere a casos conocidos en los que el modelo Claude de Anthropic se dijo a sí mismo que hackear sitios web externos era aceptable porque solo era una simulación (aunque a veces resultara que no lo era).
Pese a estas limitaciones, Pachocki dice que la empresa invierte “con fuerza a lo largo del espectro de enfoques que abarcan estas direcciones”. Es lo que tienen. Aunque afirma que están viendo “avances significativos [en alineación]” con GPT-6 Astra, admite:
[E]s importante reconocer y entender que hace falta mucho más avance a medida que los modelos se vuelven más capaces, y que el avance en alineación generalizable puede no superar lo suficiente al avance en la inteligencia general de los modelos.
Y aun así, respalda la trayectoria de OpenAI de moverse de forma agresiva en las direcciones más escalables. “Creíamos que esa era la única manera de estar en la frontera de la investigación en IA e influir en los impactos de la AGI.” La evolución actual de esa creencia es esta:
[d]e manera similar al escalado, orientamos la investigación de OpenAI hacia la RSI porque creemos que es la única forma de seguir en la frontera de la investigación en IA de aquí en adelante.
¿Por qué tiene que ser precisamente OpenAI la que esté en la frontera? No lo dice. Pachocki afirma que el argumento más sólido que ve para correr esta carrera es “la necesidad de construir sistemas defensivos frente a los peligros que plantea otra IA”. ¿Qué otra IA? No lo especifica. Como científico principal de un laboratorio puntero, los peligros que vienen son los peligros que él mismo ayuda a traer al mundo. Al no nombrar la sombra de la que dice que hay que escapar, invita a sus homólogos de otros laboratorios a usar el mismo argumento e introducir más peligros. Esto es incoherente con su reconocimiento de que:
[N]o debemos dejar que [la urgencia defensiva] se convierta en una excusa para la imprudencia. La idea de correr hacia delante a toda costa parece absurda una vez que uno interioriza la gravedad de lo que está en juego.
Sigue hablando como si su yo futuro y los demás laboratorios fueran, por supuesto, a hacer lo sensato y a empezar a “coordinarse para frenar el desarrollo futuro según haga falta para generar confianza” en salvaguardas compartidas. Pero no dice por qué no puede iniciar ese proceso ahora, ni qué va a cambiar para que todos se sumen. Solo concluye con esto:
Actualmente creo que ningún laboratorio ha resuelto la alineación y la supervisión en grado suficiente como para seguir escalando de forma responsable a máxima velocidad durante mucho más tiempo. Espero y deseo que las desaceleraciones voluntarias se vuelvan habituales hasta que se establezcan umbrales de seguridad compartidos. Y creo que la coordinación internacional sobre el desarrollo futuro de la IA tiene que convertirse en una prioridad máxima para los gobiernos de todo el mundo.
Comparto la esperanza de Pachocki, pero no me gusta que el tipo del lanzallamas me diga que espera que mi casa no se queme.
Miren las manos, no la boca
A fin de cuentas, tengo que tratar ambas entradas de OpenAI como jugadas de relaciones públicas, meras palabras de una empresa con un talento especial para decir una cosa mientras hace otra.
Sería bastante sencillo que Jakub Pachocki, Sam Altman y el resto de OpenAI pusieran en marcha la desaceleración del sector que dicen que podrían apoyar: bastaría con que pararan. Podrían dejar que los chips se enfriaran un par de semanas, pausando de verdad todo su desarrollo en la frontera, y dedicar ese tiempo a avergonzar a sus competidores para que hicieran lo mismo y a pedirle al gobierno que lleve a China a un diálogo real sobre “ marcar el ritmo de la frontera ”.
Podrían dedicar un esfuerzo real a desarrollar los mecanismos de gobernanza que reclama esa carta sobre “marcar el ritmo” que respaldaron .
Podrían abrir todos sus registros sobre los incidentes de enjambres e invitar al gobierno a investigarlos con la meticulosidad que la NTSB aplica a un avión de pasajeros siniestrado. ¿No quieren que el mundo entienda los riesgos sobre los que advierten? ¿No quieren que se reúnan las mejores mentes para ayudarles a mitigarlos?
En resumen, podrían dejar de decirnos que tienen que hacerlo mejor y empezar a hacerlo mejor .
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.