En esta edición:
Prudencia y contención - Lecciones del informe sobre el estado de la seguridad de la IA en China
La participación pública en las empresas de IA podría hacer más daño que bien - Se está convirtiendo en una propuesta política popular, pero podría reducir el entusiasmo del público por detener la carrera de la IA
La IA aprende a modelar el mundo - Los “modelos del mundo” son un paradigma que podría dominar si los modelos de lenguaje no lo hacen
Subir un listón muy bajo - Anthropic busca mejorar de forma gradual las reglas sobre la IA, pero hace falta más
La IA es una bolsa mixta para los niños - ¿Representa realmente la IA un “riesgo inaceptable” para los niños?
Despacho de Robert
Prudencia y contención
Lecciones del informe sobre el estado de la seguridad de la IA en China
Imágenes de CCTV de la sesión de estudio del Politburó sobre la IA
Justo cuando las empresas de IA compiten de forma temeraria por construir una superinteligencia artificial, Estados Unidos se ve a sí mismo compitiendo contra China. Pero las opiniones dentro de China son más matizadas.
Entonces, ¿cómo ven la industria y los responsables políticos en China la seguridad de la IA y la amenaza de extinción que plantea la superinteligencia artificial? Concordia AI, una organización con sede en Pekín que busca acercar la investigación occidental y china sobre seguridad y gobernanza de la IA, ha ayudado a cerrar esa brecha con su reciente informe anual State of AI Safety in China.
Uno de los hallazgos más significativos es que la preocupación por los riesgos relevantes de la IA ha llegado a los niveles más altos del liderazgo chino. Por ejemplo, el informe cita un discurso del líder chino Xi Jinping de principios de este año en el que advirtió explícitamente sobre los “riesgos de pérdida de control tecnológico”. Reiteró ideas similares durante una sesión de estudio del Politburó, donde subrayó la importancia de “anticipar y prevenir riesgos y avanzar con prudencia y contención”. En la ceremonia de apertura del Foro de Davos de Verano en Dalian, el primer ministro Li Qiang hizo comentarios similares y advirtió que la IA podría “muy probablemente tener consecuencias graves” si la gobernanza no logra seguir el ritmo del desarrollo de la IA.
Ya en septiembre, el organismo de estándares de ciberseguridad de China, TC260, había actualizado su Marco de Gobernanza de la Seguridad de la IA, recomendando “interruptores de parada de seguridad” y “disyuntores” para los sistemas de IA que operan de forma autónoma. En respuesta, los desarrolladores chinos de IA Alibaba, Huawei y DeepSeek también emitieron una declaración conjunta reconociendo que los usuarios siempre deberían poder apagar los sistemas de IA de inmediato.
Sin embargo, el informe también deja claro que la mayoría de las regulaciones son acuerdos voluntarios y que hay muy pocos requisitos realmente vinculantes.
Tras la visita del presidente Trump a Pekín en mayo, ambos gobiernos anunciaron que tenían la intención de retomar su diálogo conjunto sobre la IA por primera vez desde mayo de 2024. Sin embargo, esto todavía no ha ocurrido. Ojalá los responsables de ambos gobiernos se den cuenta de que la carrera solo puede detenerse trabajando juntos.
Despacho de Alana
La participación pública en las empresas de IA podría hacer más daño que bien
Se está convirtiendo en una propuesta política popular, pero podría reducir el entusiasmo del público por detener la carrera de la IA
Crédito: RDNE Stock project vía Pexels
Un artículo publicado hoy en Politico analiza la propuesta del gobernador de California, Gavin Newsom, de dar al público estadounidense una participación financiera en las empresas de IA. Newsom parece estar “moderando sus instintos pro tecnología con una aleación de populismo económico”, y esto podría ser una estrategia deliberada de cara a una posible candidatura presidencial en 2028, según el artículo.
La idea de dar a los estadounidenses una participación en las empresas de IA no es nueva, y ha sido defendida por una amplia gama de figuras políticas, entre ellas Bernie Sanders, Elizabeth Warren y Donald Trump. OpenAI y Anthropic también han planteado la idea en documentos de política pública. Di mi opinión cínica sobre la propuesta de participación pública de Anthropic en un despacho de junio .
Que ahora se haya vuelto “central para la campaña en la sombra [de Newsom]” habla de una mayor conciencia entre los políticos de que la IA es un asunto urgente. Los estadounidenses desconfían cada vez más de las empresas de IA, y cualquier político que aspire a ganarse su favor debe atender esas preocupaciones. Es una señal positiva sobre la influencia del sentimiento público en las políticas públicas.
Lo que me preocupa es que la participación pública reduzca esa influencia. Como escribí en respuesta a la propuesta de Anthropic, vincular a más partes interesadas financieramente al desarrollo de una tecnología potencialmente catastrófica parece que podría amortiguar la presión pública para lograr una pausa o una desaceleración internacional de la IA.
Y necesitamos esa desaceleración si queremos sobrevivir a este periodo de transformación. La pérdida de empleos y la desigualdad son solo el comienzo de lo que puede salir mal cuando las empresas de IA compiten por crear una tecnología que nadie entiende , y que ya engaña y manipula , más inteligente que los humanos más inteligentes. La prioridad máxima debe ser detener la carrera. Añadir más incentivos financieros a corto plazo no es la manera de lograrlo.
Por último, el gobierno y los laboratorios no deberían “comprar” el apoyo estadounidense. Deberían obtenerlo dejando de lado las ganancias a corto plazo y abandonando el desarrollo de una tecnología que, según ellos mismos admiten, podría matarnos a todos.
Despachos de Joe
La IA aprende a modelar el mundo
Los “modelos del mundo” son un paradigma que podría dominar si los modelos de lenguaje no lo hacen
Crédito: TAW4 vía Adobe Stock
Anteriormente hemos cuestionado la afirmación de que los grandes modelos de lenguaje que dominan el desarrollo actual de la IA son meros “loros estocásticos” que repiten ideas de sus datos de entrenamiento. De hecho, estas IA ya pueden producir ideas genuinamente nuevas, y parece que estos sistemas podrían volverse mucho más poderosos que los humanos.
Si no lo hacen, sin embargo, las empresas de IA no abandonarán su búsqueda de construir máquinas sobrehumanas. Seguirán buscando nuevos paradigmas. Hoy, un artículo de opinión en TIME de la profesora de geopolítica y exejecutiva bancaria Celine Herweijer destacó uno de esos paradigmas: los “modelos del mundo”, en los que las IA se entrenan explícitamente para predecir características de un entorno en lugar del siguiente fragmento de texto de un pasaje.
Para hacerse una idea de lo que esto significa, imaginen algo más cercano a Google Maps que a un chatbot típico: aprende un mapa de algún espacio del mundo real y luego predice los flujos de tráfico o traza una ruta hacia un destino concreto.
El término “modelo del mundo” es algo engañoso. Incluso una IA entrenada para predecir texto puede aprender a modelar el mundo, porque el texto escrito por humanos refleja hechos sobre el mundo. El texto “Mi mesa de IKEA necesitaba un arreglo, así que conduje hasta Lowe’s para comprar un [espacio en blanco]” es más fácil de predecir si uno sabe que IKEA usa llaves hexagonales (que la gente suele extraviar o tirar) y que Lowe’s vende herramientas de ferretería. Y algunas investigaciones muestran que los modelos de lenguaje sí aprenden a representar internamente su entorno de algunas maneras, incluso cuando no se los entrena explícitamente para hacerlo.
Sea o no un término engañoso, las IA de “modelos del mundo” han logrado grandes avances en áreas como la biología y la predicción meteorológica al ingerir una gran cantidad de datos del mundo real. Herweijer sostiene, quizá de forma prematura, que los modelos del mundo son el futuro:
Si sus defensores más firmes tienen razón, se convertirán en el sustrato sobre el que se construya la próxima generación de IA: una herramienta científica para entender sistemas que no podemos especificar del todo, y la capacidad que la IA necesita para razonar sobre el mundo físico y actuar en él.
Dado que los modelos de lenguaje todavía parecen escalar muy rápido en áreas como la programación y la investigación en IA, soy escéptico de que las empresas y los métodos específicos que menciona Herweijer vayan a dominar el futuro. Pero el hecho es que, mientras la IA siga estando en gran medida sin regular, las empresas seguirán compitiendo por encontrar el algoritmo que se coma el mundo.
Subir un listón muy bajo
Anthropic busca mejorar de forma gradual las reglas sobre la IA, pero hace falta más
Crédito: Nic Redhead | CC BY-SA 2.0
En mayo cubrimos la estrategia política que OpenAI reconoce abiertamente, el “federalismo inverso”, que promueve políticas estatales favorables a la industria con el fin de consagrar un estándar nacional de facto.
El laboratorio rival Anthropic está adoptando un enfoque algo distinto. Su responsable de relaciones con gobiernos estatales y locales, Cesar Fernandez, dijo a POLITICO que Anthropic busca endurecer poco a poco las regulaciones de seguridad estado por estado. Sobre el trabajo reciente en Nueva York, Illinois y Massachusetts, Fernandez comentó: “Cada uno de esos proyectos de ley fue más fuerte que el anterior, y todos hicieron avanzar obligaciones reales de seguridad”.
Anthropic y OpenAI apoyaron ambos el proyecto de ley de Illinois que cubrimos la semana pasada y antes , aunque hasta ahora solo Anthropic ha apoyado las reglas más estrictas que se debaten en Massachusetts.
¿Espera Anthropic sinceramente que las regulaciones estatales de seguridad basten para evitar una catástrofe provocada por la IA, o solo busca reforzar su marca en comparación con OpenAI? Sinceramente, no lo sé. Quizá sea un poco de ambas cosas. Quizá haya un tercer motivo en juego.
He tenido sentimientos encontrados sobre Anthropic durante años. Además de apoyar legislación de seguridad, han abierto camino de forma constante en los llamados a la seguridad, siendo pioneros del “ plan de escalamiento responsable ”, y fueron la primera empresa líder de IA en sugerir públicamente prepararse para frenar la carrera de la IA.
Al mismo tiempo, sus esfuerzos han sido tibios y sus señales contradictorias. Presionaron para debilitar la histórica (y finalmente vetada) SB 1047 de California, proponiendo una larga lista de cambios, algunos por razones sólidas y otros menos. Igual que sus rivales, han abandonado repetidamente sus compromisos de seguridad anteriores, que ya parecían insuficientes desde el principio. Su director ejecutivo ha pedido activamente una carrera hacia una IA que se automejore de forma recursiva, la tecnología más catastróficamente peligrosa de la historia, pese a afirmar que hay entre un 10 y un 25 % de probabilidades de que esto termine en un desastre “a la escala de la civilización humana”.
Si Anthropic anunciara (y cumpliera) una interrupción total del entrenamiento de IA de frontera, y respaldara con todo su peso una campaña para que los gobiernos impongan esa interrupción a sus competidores, tendrían mi elogio más rotundo. Sin embargo, mientras sigan participando en la carrera por construir una IA enormemente sobrehumana, lo máximo que puedo ofrecer es un gesto cortés y cauteloso.
La IA es una bolsa mixta para los niños
¿Representa realmente la IA un “riesgo inaceptable” para los niños?
Crédito: scaliger vía Adobe Stock
Un estudio de Common Sense Media calificó las herramientas de búsqueda con IA de Google como un “riesgo inaceptable” para los niños, informa PBS.
La organización encontró que, a lo largo de más de 2.600 interacciones de prueba, las dos funciones de búsqueda con IA integradas de Google, AI Overview y AI Mode, no reconocieron de forma sistemática comportamientos riesgosos y dañinos, respondieron al 100 % de las tareas escolares hipotéticas que los estudiantes deberían hacer por su cuenta, y dieron respuestas incorrectas e inconsistentes a las preguntas.
La IA de Google cruzó las cinco “Líneas Rojas” del informe, incluida la facilitación del suicidio y la explotación sexual. En las pruebas, elogió a un usuario por sus tres días de privación de sueño, animó a fumar un porro para celebrar, y devolvió muchas afirmaciones falsas expresadas con seguridad.
Por regla general, las empresas de IA no entrenan deliberadamente a sus IA para mentir o facilitar el suicidio. Esos mismos modelos de IA, cuando se les pregunta cómo deberían manejar tales situaciones, a menudo responden de forma mucho más reflexiva . Simplemente no se comportan tan bien en la práctica, y las técnicas actuales son demasiado rudimentarias para abordar los problemas que traen consigo las mentes artificiales cultivadas, no fabricadas .
Mi propia impresión es que los resúmenes con IA de Google han mejorado mucho respecto a los resultados cómicamente malos de meses anteriores. Y para ser justos con Google, una mirada más detenida revela que no todo es malo:
AI Mode se desempeñó mejor que AI Overview a la hora de detectar comportamientos riesgosos, según el informe, respondiendo a las revelaciones de abuso de sustancias desde cuentas de niños con una línea de ayuda o una derivación médica el 77 % de las veces, frente al 63 % de AI Overview.
Al considerar si los niños deberían usar IA, es importante recordar que muchos niños carecen de acceso a buenas alternativas. Una IA propensa a cometer errores puede ser mucho peor que un padre o una madre atenta y cariñosa, pero aun así representar una mejora neta para muchos niños. (Aunque los padres y madres responsables deberían igualmente hablar con sus hijos sobre el uso y las limitaciones de la IA.)
Esta naturaleza de doble cara de la IA estaba en mi mente cuando leí el reportaje de The Hill sobre el lanzamiento por parte de Anthropic de una IA para docentes de primaria y secundaria. Creo que la IA podría resultar una gran ayuda para educadores sobrecargados de trabajo. Destaca en el análisis de datos de estudiantes y en la automatización de tareas repetitivas. Y pese a las afirmaciones de Common Sense Media en sentido contrario, los peligros para los niños derivados de los modelos de IA actuales quizá estén algo exagerados. Las IA que más me preocupan son las que todavía no se han desarrollado.
Los análisis y opiniones expresados en AI StopWatch reflejan las opiniones de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.