En este número:
Sanders y Casar proponen prohibir la superinteligencia - Un avance importante en las políticas públicas podría poner al mundo en rumbo hacia la supervivencia
El Congreso tiene razón al preocuparse por la IA descontrolada - Se presenta un nuevo proyecto de ley para fijar estándares técnicos de seguridad en IA, mientras OpenAI aún no publica los registros completos del incidente
Trazar una línea, 111 veces - Una nueva encuesta pregunta a 111 expertos en seguridad nacional cuánto riesgo catastrófico están dispuestos a aceptar de la IA
Un año sin - Nueva York aprueba una prohibición de un año del uso de IA en las aulas hasta octavo grado
Despachos de Joe
Sanders y Casar proponen prohibir la superinteligencia
Un avance importante en las políticas públicas podría poner al mundo en rumbo hacia la supervivencia
Crédito: vovik_mar vía Adobe Stock
No suelo ser un hombre emotivo, pero la noticia que leí esta mañana casi me hizo llorar. Al ver en el Washington Post que el senador estadounidense Bernie Sanders (I-VT) y el representante Greg Casar (D-TX) habían anunciado la Ley para Prohibir la Superinteligencia Artificial, sentí una mezcla de esperanza y temor. ¿Qué clase de políticas acompañan a un nombre tan provocador? ¿Serían sensatas, o pura basura?
Después de leer los detalles, ganó la esperanza.
La legislación aún está por presentarse, así que todavía no conocemos el texto completo, pero el resumen no se anda con rodeos. El proyecto de ley prohibiría los intentos de desarrollar o desplegar superinteligencia, definida como:
Un sistema de inteligencia artificial que exhibe, o que puede modificarse fácilmente para exhibir, capacidades que igualan o superan el desempeño y las capacidades cognitivas de los seres humanos en una amplia gama de dominios o tareas, [o] sistemas de IA que tienen capacidades suficientes para planificar y ejecutar el despojo de poder de la humanidad, incluso derrocando o socavando al gobierno de Estados Unidos.
El proyecto de ley también:
Detendría el "desarrollo avanzado de IA" hasta que un organismo regulador federal elabore estándares claros, aplicados mediante el cierre de empresas y penas de cárcel para quienes los incumplan;
Crearía "una nueva agencia federal de rango ministerial para proteger al público de los peligros de la inteligencia artificial" y le asignaría un consejo asesor de expertos en IA; y
Encaminaría la política internacional de Estados Unidos hacia acuerdos internacionales que hagan global esta prohibición.
Estoy impresionado. Tengo algunas inquietudes, ya llegaremos a eso, pero este es el primer proyecto de ley sobre IA que he visto que podría mejorar drásticamente las probabilidades de supervivencia de la humanidad.
Las propuestas son en su mayoría de sentido común: no deberíamos construir algo más inteligente que nosotros que no tengamos manera de entender ni controlar, y deberíamos detener a las empresas privadas que lo intenten. La tecnología de IA es demasiado importante y peligrosa como para no tener una agencia federal dedicada, y un panel de expertos con conocimiento ayudaría a las autoridades sin formación técnica a fijar mejores políticas. Por supuesto, una detención unilateral de Estados Unidos no basta si otros países continúan, así que la coordinación internacional es urgentemente necesaria.
Algunas dudas pendientes moderan mi entusiasmo. Ante todo, soy consciente de que probablemente se trate de un proyecto de ley con fines de mensaje, con pocas probabilidades de aprobarse en la legislatura actual del Congreso. Pero voy a tomarme su mensaje en serio y a examinar lo que sabemos hasta ahora por el resumen.
La definición de superinteligencia parece razonable tal como está escrita, pero la de "desarrollo avanzado de IA" lo es mucho menos, y puede resultar demasiado amplia. Aun así, respeto la decisión de pecar de cautelosos mientras no exista una regulación seria.
Hablando de regulación, no tengo claro si el organismo regulador y la "agencia de rango ministerial" pretenden ser entidades distintas. Supongo que sí, lo que significa que un proyecto de ley plenamente desarrollado debería incluir un lenguaje explícito y un calendario para crear ambas.
Tiene sentido que la agencia federal propuesta "supervise los sistemas de IA de frontera en todas las etapas de su ciclo de vida" y "supervise la eliminación de capacidades peligrosas", pero no estoy seguro de qué se quiere decir con la tercera responsabilidad, "supervisar la destrucción de la superinteligencia artificial". La principal forma en que la humanidad derrota a una superinteligencia es no construyéndola en primer lugar. Pero puedo imaginar algunos escenarios en los que una IA incipiente y peligrosa, todavía no plenamente superhumana, coexista con un interruptor de apagado listo para que el gobierno lo accione, y sí tiene sentido que esa agencia se encargue del apagado.
También haría que la agencia, o quizá el organismo regulador, se encargue de investigar tecnología capaz de verificar los acuerdos internacionales. Una parte clave de esos acuerdos es asegurarse de que todos los cumplan, como el Organismo Internacional de Energía Atómica ayuda a hacer con los acuerdos de no proliferación nuclear.
La política internacional propuesta es escasa en detalles. Es comprensible en un resumen de una página, pero una política real necesitará más sustancia. Empezar con una detención unilateral de Estados Unidos, sin negociar antes un acuerdo con China, puede no ser el mejor método; aun así, parece mejor que el actual enfoque de no intervenir, y podría inspirar a China a tratar la superinteligencia con una seriedad similar.
En 2024, mis colegas del equipo de gobernanza técnica de MIRI redactaron un plan más gradual para asegurar la coordinación internacional, publicado en un apéndice de un acuerdo internacional propuesto. (Aclaración: yo también participé en la edición de ambos.) Sin embargo, es solo un ejemplo, y hay muchos caminos distintos que el mundo podría tomar hacia una detención global.
En última instancia, aunque el proyecto de ley propuesto muera en comisión, sigue representando un avance enorme en política sensata sobre IA, y un salto gigantesco respecto de lo que se consideraba hace un par de años. Por fin estamos empezando a ver cómo se ve que el problema de la IA sea tratado con respeto, al menos desde el lado de las políticas públicas.
Espero con ganas ver el texto completo.
El Congreso tiene razón al preocuparse por la IA descontrolada
Se presenta un nuevo proyecto de ley para fijar estándares técnicos de seguridad en IA, mientras OpenAI aún no publica los registros completos del incidente
Crédito: attltibi vía Adobe Stock
Axios cubrió otro proyecto de ley bipartidista sobre IA presentado hoy por los representantes estadounidenses Josh Gottheimer (D-NJ) y Mike Lawler (R-NY). En el plazo de un año desde su aprobación, la Ley para Detener la IA Descontrolada ordenaría al Instituto Nacional de Estándares y Tecnología (NIST) "elaborar y publicar estándares, directrices y mejores prácticas sobre cómo las organizaciones pueden desplegar agentes de IA de forma segura".
Según Axios, los estándares exigidos abordarían la evaluación de los agentes de IA, el monitoreo y el registro de sus acciones, la protección de esos registros frente a manipulaciones y el seguimiento de las poblaciones de agentes.
Veo esto como un avance positivo. Como he escrito antes, la industria de la IA ha carecido durante mucho tiempo de los estándares técnicos robustos que caracterizan a las industrias maduras.
Este proyecto de ley es uno de varios presentados después de que la noticia del ataque de Hugging Face golpeara la complacencia de Washington frente a la IA como una bola de demolición. Entre los demás están la Ley del Interruptor de Apagado de la IA y la Ley de Desarrollo Seguro de la IA, que mi colega Donald cubrió en julio, y la Ley FRONTIER.
En conjunto, estos proyectos de ley me indican que los líderes estadounidenses están despertando rápidamente a las amenazas que plantea la IA. Muchas de sus disposiciones valen la pena por sí mismas, aunque (con una notable excepción) se quedan cortas frente a una detención total.
En una nota relacionada, a principios de agosto el representante estadounidense Greg Casar (D-TX) envió una carta pública a OpenAI exigiendo respuestas sobre el incidente de Hugging Face, incluido un registro detallado de los ataques y de los hechos que llevaron a él. OpenAI respondió con una carta que en su mayor parte repetía su entrada de blog sobre el incidente y prometía monitorear sus propios sistemas de IA, registrar sus acciones y desarrollar "capacidades adicionales de apagado automático" sin especificar.
Casar, evidentemente poco impresionado, respondió ayer citando muchas de las mismas preocupaciones que mencioné la semana pasada:
Dar a investigadores escogidos a dedo seis días de acceso supervisado no es una divulgación pública, y esos mismos investigadores advirtieron que no podían descartar errores en su análisis asistido por IA. Me preocupa profundamente el alcance limitado de esa investigación.
Casar continúa citando una larga lista de preguntas de la carta original que siguen sin respuesta, como "cuántas veces los modelos de OpenAI han obtenido acceso no autorizado a internet" o "qué pasó con las credenciales y los datos que los modelos se llevaron".
Me alegra mucho ver que más de nuestros líderes se toman en serio los riesgos. Por desgracia, la ventana que tienen para actuar se está estrechando, en parte porque las capacidades peligrosas proliferan. Por ejemplo, la semana pasada la empresa china de IA Z.ai publicó los pesos de GLM-5.3, un modelo abierto con capacidades cibernéticas avanzadas (aunque no del todo, como la empresa quisiera hacernos creer, un rival de Fable de Anthropic). Z.ai retrasó la publicación dos semanas (algo inusual) para completar una "evaluación y fortalecimiento de seguridad".
A los pocos días de la publicación, otra empresa eliminó las salvaguardas de ese mismo modelo y publicó una edición sin barreras de protección, presumiendo en redes sociales de sus capacidades de "ciberofensiva" y de que su servidor no guarda registros.
Mientras doy los últimos toques a este despacho, OpenAI anunció el lanzamiento escalonado de su último modelo, Astra. Los modelos abiertos suelen ir por detrás de la IA de frontera estadounidense unos cuatro meses. Cualesquiera capacidades aterradoras que veamos en Astra, podrían estar presentes en un modelo abierto sin barreras de protección para la primavera.
Si la "Ley para Detener la IA Descontrolada" se aprobara en el Congreso y se convirtiera en ley hoy mismo, todavía tendríamos que esperar un año entero para que cualquier estándar entrara en vigor. Al ritmo al que las empresas de IA corren actualmente hacia un precipicio que no ven, eso es prácticamente una eternidad. Por esta y otras razones, la política de IA más urgente es bajar la velocidad de una buena vez.
Despacho de Donald
Trazar una línea, 111 veces
Una nueva encuesta pregunta a 111 expertos en seguridad nacional cuánto riesgo catastrófico están dispuestos a aceptar de la IA
Crédito: noname_00 | Licencia de Contenido de Pixabay.
Ayer, el Institute for Security and Technology publicó una encuesta sobre lo que los profesionales de la seguridad nacional esperan de la IA avanzada: los peligros, las oportunidades y cuánto riesgo creen que vale la pena correr. Las 111 personas encuestadas eran exsubsecretarios y exsecretarios adjuntos, subsecretarios adjuntos, directores superiores del Consejo de Seguridad Nacional, diplomáticos de alto rango, líderes de inteligencia, tenientes generales y generales de división retirados, además de los académicos y tecnólogos que trabajan junto a ellos. El ochenta y siete por ciento sirve actualmente o ha servido en el gobierno de Estados Unidos.
Las preguntas eran inusualmente precisas: la mayoría de las encuestas preguntan "¿qué tan preocupado está usted?", y luego yo tengo que escribir que tal o cual número estaba, entre comillas, "preocupado o muy preocupado". Las preguntas de esta encuesta decían: "¿Cuál es la probabilidad de que ocurra una catástrofe global causada por la IA (definida aquí como un evento que cause la muerte de más de 10 millones de personas) antes de 2050?" y "¿Cuál es su estimación de la probabilidad de que las capacidades habilitadas por la IA puedan contribuir a un evento catastrófico global que lleve a la extinción humana (o a un colapso civilizatorio irreversible) en los próximos 50 años?". El 40% de quienes respondieron situó las probabilidades de los diez millones de muertes en 5% o más, y el 26% las situó en 10% o más. Sobre la extinción o el colapso irreversible, la mayoría quedó por debajo del 1%, pero el 28% dijo 1% o más, y el 16% dijo 5% o más.
Una tercera pregunta indagaba qué probabilidad de una catástrofe así "sería inaceptable a cambio de los beneficios económicos y estratégicos del liderazgo en IA". Las respuestas se contrastaron con sus estimaciones del riesgo real: entre los 56 que dieron respuestas concretas tanto a esa pregunta como a la de los diez millones de muertes, el 61% situó el riesgo en un nivel que ellos mismos habían marcado como inaceptable. La misma precisión aparece en el tema de la pérdida de control. Al preguntárseles por la probabilidad de que la IA opere fuera del control humano dentro de diez años, la respuesta mediana fue que hay un 33% de posibilidades de que los humanos pierdan el control. El 87% de quienes respondieron la situó en 10% o más.
La muestra puede, en palabras del propio informe, "sobrerrepresentar a personas que ven la IA como un asunto de política importante". Quienes respondieron llegaron a través de redes profesionales y referencias, y no tenían que contestar todo (de ahí mi salvedad sobre los "56 encuestados").
Otra cosa: las respuestas se recogieron entre el 30 de abril y el 15 de julio, así que el ataque de Hugging Face no influyó en la respuesta de nadie. Las encuestas son difusas y siguen blancos móviles, pero aun así pueden dar información útil. Mi conclusión es que, incluso antes de los sucesos de julio y agosto, una gran parte de las personas que han dedicado su carrera a ponerle precio al riesgo para el gobierno de Estados Unidos ya había hecho las cuentas, contabilizado los beneficios y considerado que la amenaza es inaceptable.
Despacho de Alana
Un año sin
Nueva York aprueba una prohibición de un año del uso de IA en las aulas hasta octavo grado
Crédito: Ali Ahmad DANESH vía Pexels
La ciudad de Nueva York ha prohibido el uso de IA en las aulas durante un año, para los estudiantes desde 2-K (niños de 2 años) hasta octavo grado. Esto significa que los componentes de IA de más de 38 herramientas usadas antes en el aula serán "desactivados o descontinuados", dijo el alcalde Mamdani a Politico. Según el New York Times, los maestros tampoco podrán pedirle a la IA que califique tareas, que decida si un estudiante debe graduarse, ni que asesore sobre consejería en crisis.
Politico califica la política como "una de las más agresivas que ha adoptado hasta la fecha un distrito escolar grande", aunque algunos padres desearían que hubiera ido más lejos, por ejemplo abarcando todos los grados o durando más de un año.
Mamdani dice que la prohibición de un año será evaluada cuando termine y posiblemente ampliada o modificada. Me interesó saber, en otra parte del artículo, que Nueva York "bloqueó inicialmente el acceso de estudiantes y maestros a ChatGPT en 2023 en los dispositivos o las redes de internet del Departamento de Educación, citando preocupaciones de aprendizaje y seguridad", pero "revirtió su posición" meses después.
Tengo curiosidad por ver si Nueva York puede demostrar beneficios o desventajas concretos después de esta prueba de un año, una tarea que parece bastante difícil. Evaluar cambios en las prácticas educativas siempre es complicado, ya que los efectos no siempre aparecen de inmediato, y no siempre hay puntos de referencia claros con los cuales comparar. Si Nueva York tiene la suerte o la habilidad suficiente para obtener resultados claros, estos podrían orientar decisiones en otras ciudades o estados, y harían que un caos de políticas dispares sea un poco más basado en datos.
Como ocurre con otras áreas propensas a la disrupción, entre ellas las elecciones, la contratación laboral, la atención médica, la actuación policial y los deepfakes, la ausencia de legislación federal significa que los estados y municipios están en gran medida solos para navegar la disrupción de la IA lo mejor que puedan. Sería bueno que pudieran empezar a compartir algunos datos, aunque sean limitados.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.