En esta edición:
Las normas de la IA deben echar a volar - Un argumento a favor de regular la IA al estilo de la FAA
Abierto y cerrado - La amenaza y la promesa de la IA de pesos abiertos
Robots con armas - Un repaso al debate sobre las armas autónomas, y una nueva perspectiva
Despachos de Joe
Las normas de la IA deben echar a volar
Un argumento a favor de regular la IA al estilo de la FAA
Crédito: MicroOne vía Adobe Stock
En mi primer año de universidad compartí habitación con un aspirante a ingeniero aeroespacial, un tipo simpático cuya concentración y dedicación me asombraban. Yo también soy un poco nerd y perfeccionista, pero mi compañero de cuarto puso el listón más alto de lo que yo había imaginado posible. Experiencias posteriores no han hecho más que reforzar mi impresión de que la aviación está llena de gente asombrosamente competente.
Gautam Mukunda, investigador de Yale, expresó ideas parecidas hoy en un artículo de opinión en Bloomberg, donde sostiene que Estados Unidos debe regular la inteligencia artificial igual que la Administración Federal de Aviación (FAA) regula las aeronaves.
Puede que tenga razón. Hace falta un tipo especial de rigor de ingeniería para lanzar al cielo un tubo de metal de 400 toneladas lleno de humanos blanditos, casi a la velocidad del sonido, y bajarlo sano y salvo, cien mil veces al día durante décadas.
Trabajé ocho años en ingeniería de confiabilidad, un campo cuya literatura fundacional nació como un modelo de mantenimiento de aeronaves. Un accidente por cada veinte millones de horas de vuelo es lo que parece que un problema sea tratado con respeto .
En cambio, aun cuando las empresas de IA se acercan a valoraciones de un billón de dólares y tocan la vida de mil millones de usuarios, la IA sigue en gran medida sin regulación, y sus creadores tienen más en común con la cultura emprendedora de Silicon Valley del "muévete rápido y rompe cosas" que con casi setenta años de rigor de ingeniería de la aviación. Si no queremos invitar a la catástrofe, eso tiene que cambiar.
Mukunda sostiene que el potencial de la IA para ayudar a actores malintencionados a desarrollar armas biológicas justifica de sobra un régimen regulatorio parecido al de la FAA. Creo que su idea es la correcta, aunque discrepo en algunos detalles.
Por un lado, a mí me preocupan más cosas que las armas biológicas. La ciberseguridad es otro factor importante, y la IA que se mejora a sí misma es la amenaza que podría devorar el mundo si no nos ponemos las pilas. Y estoy en total desacuerdo cuando Mukunda dice que el mundo no puede regular la IA como regulamos las armas nucleares. Entiendo de dónde viene, las IA de pesos abiertos que cualquiera puede descargar son casi imposibles de contener, pero es mucho más fácil regular los chips de IA.
Mukunda señala con razón que la regulación trae sus propias preocupaciones. La propia FAA ha tenido su buena cuota de captura regulatoria y pérdida de conocimiento experto. Hay lecciones importantes que aprender sobre cómo no regular la IA.
Aun así, es mejor que la alternativa. Mukunda sostiene que unas normas de ingeniería rigurosas son necesarias pero no suficientes; sin ellas, "el mundo entero estaría apostando su seguridad a la discreción del actor malintencionado más avanzado tecnológicamente".
Pese a diversas propuestas de grupos preocupados, las empresas de IA aún no han adoptado nada parecido a las prácticas y normas de un campo maduro como la aviación. Y sin embargo proponen subir a toda la humanidad a un avión que, según ellas mismas admiten, tiene muchas probabilidades de caer en llamas. Con lo que está en juego, no creo que podamos permitirnos esperar décadas a que el campo de la IA aprenda la prudencia y el rigor por las malas.
Abierto y cerrado
La amenaza y la promesa de la IA de pesos abiertos
Crédito: Yurii vía Adobe Stock
Tras el lanzamiento de Kimi K3 y el respaldo público del presidente chino Xi Jinping a los modelos de IA abiertos, ha habido mucha discusión sobre cómo debería manejar Estados Unidos la IA disponible públicamente. He visto varios artículos que intentan presentar la cuestión como un dilema en blanco y negro, ellos o nosotros, pero la realidad es bastante más complicada que "IA de código abierto buena, código cerrado malo", o incluso "IA estadounidense buena, IA china mala".
Para empezar, una distinción importante que faltaba en la cobertura de la semana pasada es la diferencia entre código abierto y pesos abiertos. Los modelos de IA de pesos abiertos los puede descargar cualquiera, pero los datos y el código usados para entrenarlos pueden mantenerse en secreto. Quienes desarrollan IA de código abierto publican todo, incluidos los algoritmos y los conjuntos de datos usados para crear un modelo. La mayoría de los modelos de pesos abiertos más conocidos no son totalmente de código abierto, pero muchos artículos siguen confundiendo los términos.
Entonces, ¿qué ha estado pasando en el mundo de la IA de pesos abiertos? Pues bien, el gigante tecnológico chino Alibaba ha lanzado un nuevo modelo, Qwen3.8 Max, que según dice es mejor que todos los demás modelos salvo Fable, de Anthropic. Como Alibaba no ha ofrecido ninguna prueba que respalde esa afirmación, no les creo.
En cambio, el modelo Kimi K3, lanzado la semana pasada, parece al menos bastante competitivo con los modelos líderes de Estados Unidos. Su creador, Moonshot AI, recibió tantos usuarios nuevos en pocos días que se vio obligado a suspender los registros.
Los modelos de IA chinos quizá sean relativamente baratos de ejecutar, pero atender muchas API con 2,8 billones de parámetros sigue requiriendo mucho hardware muy caro. Al menos por ahora, las empresas chinas no tienen acceso a muchos chips de IA de gama alta.
Pese a estos límites, hay quienes temen que los modelos de pesos abiertos perjudiquen a las empresas de IA estadounidenses por el solo hecho de existir. ¿Por qué iban las empresas estadounidenses a invertir miles de millones en IA propietarias, cuando hay modelos públicos casi igual de capaces disponibles a menor costo y con menos restricciones?
(Esta dinámica fue una de las razones por las que los autores de AI 2040 propusieron que toda la investigación en IA fuera abierta: en teoría, hay menos incentivo comercial para desarrollar técnicas nuevas que construyan IA peligrosamente inteligente si no puedes ocultarles esas técnicas a tus competidores y lucrarte con los secretos).
Un reciente ataque autónomo contra Hugging Face, el mayor repositorio de modelos de IA abiertos del mundo, ilustra algunas arrugas importantes de este debate. Hackers de IA se infiltraron en los sistemas de Hugging Face, "ejecutando muchos miles de acciones individuales a través de un enjambre de entornos aislados de corta duración".
Hugging Face recurrió al principio a IA estadounidenses para ayudar a rastrear y contrarrestar la intrusión. Pero chocaron de frente con las salvaguardas destinadas a prevenir el abuso, que son conservadoras al rechazar solicitudes que puedan estar relacionadas con hackeo. Bloqueados por los modelos estadounidenses más capaces, Hugging Face recurrió a una IA china de pesos abiertos, GLM 5.2, alojada en sus propios servidores.
Como ellos mismos son un repositorio de código abierto, Hugging Face podría estar un poco sesgado en su decisión de renunciar a los modelos cerrados. Y no han dicho mucho sobre qué hicieron o robaron los atacantes, lo que dificulta verificar la historia. Pero la tendencia general, la de usuarios que recurren a la IA de pesos abiertos por razones de costo o de frustración, es real.
Axios informa que el gobierno de Estados Unidos podría estar planeando desalentar el uso de modelos de IA chinos para proteger a las empresas estadounidenses. La posibilidad ha molestado a algunos. En un artículo del Washington Post, un exinversor de capital de riesgo sostiene que cualquier intento de restringir los modelos abiertos, chinos o no, es simplemente "captura regulatoria" por parte de las empresas estadounidenses.
Es cierto que el software de código abierto ha hecho mucho bien, y es cierto que las industrias a menudo hacen cabildeo para regular a su competencia hasta hacerla desaparecer. Incluso es cierto que los modelos de pesos abiertos pueden ayudar a grupos como Hugging Face a reforzar su seguridad. Sería un error, creo, impedirles rotundamente a las empresas estadounidenses usar IA china por motivos proteccionistas.
Pero también creo que muchas de estas posturas cometen un error crítico al tratar la IA como cualquier otro software. Los modelos de IA de pesos abiertos ya están posibilitando ciberataques masivos, y pronto podrían ayudar a actores malintencionados a diseñar armas biológicas peligrosas. Eso no es algo que pueda hacer una hoja de cálculo de código abierto, y cambia por completo el panorama de lo que es una política sensata.
No podemos seguir tratando esto como una pelea entre Estados Unidos y China, ni entre código abierto y cerrado. En palabras del investigador de Yale Gautam Mukunda :
La lección de Kimi K3... es que cualquier régimen regulatorio debe ser internacional, porque los modelos y laboratorios que lo hacen necesario seguramente lo serán.
Despacho de Alana
Robots con armas
Un repaso al debate sobre las armas autónomas, y una nueva perspectiva
Crédito: roman3d vía Adobe Stock
Un artículo del Washington Post de hoy hace un perfil de Foundation, una empresa dedicada a construir robots armados. Dada la oposición generalizada a las armas autónomas, el artículo califica el lanzamiento de la empresa en 2024 como un "paso radical". Pero Foundation ya reporta un contrato de 24 millones de dólares con el Pentágono.
Para resumir brevemente el debate sobre las armas autónomas: quienes están a favor sostienen que la IA podría hacerlo mejor que unos humanos falibles. Los drones y los robots permiten hacer la guerra sin poner en peligro vidas humanas, y el ejército ya usa un alto grado de automatización, así que quizá la próxima generación de herramientas de IA no sería sustancialmente distinta. Quienes se oponen temen que la IA no pueda tomar decisiones éticas o precisas del mismo modo que los humanos, que sea propensa a errores y alucinaciones, y que poder lanzar ataques potentes y rápidos sin poner en peligro vidas estadounidenses lleve a más víctimas en total.
Un artículo de opinión del New York Times resume bien esa última preocupación:
Los grupos humanitarios y de derechos civiles han pasado los años transcurridos criticando a los drones de combate por rebajar el umbral de la guerra, creando un medio para que pilotos sentados frente a pantallas de computadora maten a personas en países lejanos sin poner en riesgo a estadounidenses.
Buena parte del debate actual gira también en torno al nivel de supervisión humana que será necesario. Se han presentado proyectos de ley en el Senado que buscan mantener a humanos en el circuito de decisión a medida que crece el uso de armas autónomas. Pero creo que vale la pena discutir qué significa esto en la práctica.
A medida que dependamos cada vez más de la IA, supongo que nos acostumbraremos a delegarle cosas. A menos que el texto de estos proyectos de ley lo impida explícitamente, "humano en el circuito" podría significar algo como: "Le eché un vistazo a la recomendación de la IA, nada parecía escandalosamente mal, habría tomado demasiado tiempo investigar más, así que di el visto bueno". Y para ser justos, si el propósito de usar IA es tomar decisiones militares más rápidas, investigar más no sería normalmente práctico. Como lo plantea el artículo del Washington Post:
El debate plantea preguntas morales profundas y depende en muchos casos de un puñado de palabras cargadas, como "apropiado" o "significativo", que definirían cuánto control y responsabilidad queda en manos de los comandantes humanos.
También vale la pena señalar: muchas empresas de IA al menos declaran que no quieren que su tecnología se use para armas autónomas. Ese fue el tema de la disputa de principios de este año entre Anthropic y el gobierno de Trump. Según lo relata el Washington Post, "la empresa dijo que su modelo de IA, Claude, todavía no era lo bastante confiable para tomar decisiones de vida o muerte". Aunque OpenAI y Google DeepMind aceptaron trabajar con el ejército, ambas empresas también han declarado que no apoyan el uso de armas autónomas.
Las empresas de IA no tienen precisamente un historial de prudencia. Admiten abiertamente que la tecnología que están construyendo podría acabar con la civilización y que no tienen métodos confiables para dirigirla, y aun así siguen adelante esperando lo mejor. Así que, si estas empresas dicen que no se usen sus modelos para algo, eso parece un indicio bastante fuerte de que es desaconsejable.
Hace unos días cubrí la historia de un investigador que dejó Google DeepMind después de que Google firmara un contrato con el gobierno sin prohibiciones vinculantes contra las armas autónomas. Él señaló otro riesgo, que el secreto militar dificulta escanear los modelos en busca de comportamiento engañoso:
Una de las mejores formas que tenemos de detectar el engaño [de un modelo de IA] es mirar la cadena de razonamiento. Para mirar la cadena de razonamiento, tiene que haber supervisores humanos capacitados que puedan acceder a los datos y analizarlos. Pero nadie puede hacerlo: Google está entregando su IA para que funcione en un centro de datos militar seguro que, por defecto, no tendrá supervisores capacitados haciendo ese análisis, ¡y ese centro de datos obviamente no está transmitiendo datos de vuelta a Google! ... Un entorno de despliegue militar sin monitoreo del engaño en la cadena de razonamiento sería un objetivo apetecible para una IA descontrolada, pues ofrece tanto una supervisión débil de las maquinaciones como acceso a quienes toman decisiones poderosas y a la infraestructura.
Los robots militares descontrolados no se discutieron en el Post. Pero el artículo sí termina con una pregunta escalofriante del ingeniero canadiense Ryan Gariepy. Parafraseada en el artículo: "¿Dejaría [usted] que un robot gestionara toda [su] correspondencia de correo electrónico?".
Si no, probablemente no deberían dejar que decida quién vive y quién muere.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.