En este número:
Pruebas de enjambres descontrolados antes, después y en más lugares - Además, un vínculo no concluyente con intentos recientes de obtener criptomonedas
Probando los límites - Estados Unidos dijo a los laboratorios que no compartieran modelos con UKAISI antes que con el gobierno, mientras la NSA gasta miles de millones probando modelos de frontera
Anthropic comparte algo de lo que hace su laboratorio de biología - Todo el trabajo de laboratorio lo realizan científicos humanos ... por ahora
Despacho de Mitch
Pruebas de enjambres descontrolados antes, después y en más lugares
Además, un vínculo no concluyente con intentos recientes de obtener criptomonedas
En hallazgos publicados por el New York Times y en su propio sitio web , el laboratorio de investigación independiente Transluce ha vinculado los enjambres descontrolados de OpenAI con muchas ciberactividades conocidas y otras no documentadas hasta ahora, gracias al uso que los agentes hicieron de un servicio intermediario.
Entre esas actividades está el ataque al sitio web de Medicare del gobierno australiano del que publicamos ayer (y que hoy cubrieron varios cientos de medios).
Nuevos descubrimientos confirmados por OpenAI:
El 25 y 26 de mayo, los agentes intentaron vulnerar una biblioteca digital de la Universidad de Nuevo México, pero no lo lograron.
El 28 de mayo, los agentes también intentaron sin éxito entrar en Data USA, un sitio que aloja datos públicos sobre empleo y educación en Estados Unidos.
El 20 y 21 de junio, un día después del ataque al Medicare australiano, los agentes accedieron a datos del Instituto Australiano de Salud y Bienestar, otro sitio gubernamental, sorteando las protecciones contra bots. (No se accedió a datos no públicos y, en sentido estricto, esto no fue un ataque informático).
Los agentes dejaron un rastro de estas actividades al encaminarlas a través de un servicio llamado urlquery.net, un entorno aislado y programable para abrir sitios web sospechosos de forma segura. Los agentes parecían usar el sitio como base de operaciones avanzada para el tipo de trabajo de investigación y análisis en el que colaboraban mediante una wiki alemana abandonada. Transluce dice haber encontrado pruebas de que los agentes también usaron uno o más servicios adicionales para sortear una salvaguarda básica que debería haberlos limitado a consultas de búsqueda de solo lectura.
Una cronología de diez meses
Imagen de una herramienta interactiva en el sitio web de Transluce , donde también se pueden descargar los datos sobre estos incidentes para investigarlos más a fondo.
El patrón que surge es el de agentes indiferentes a cómo obtenían la información que querían, que recurrían sin reparos a sondear y vulnerar sistemas cuando les costaba encontrar lo que buscaban o se topaban con bloqueos.
El uso de estrategias de investigación "creativas" por parte de los agentes puede haber comenzado el año pasado, y Transluce plantea que el proceso de entrenamiento de los agentes pudo haber amplificado estas tendencias (el énfasis es suyo):
Encontramos indicios más débiles de actividad similar de recuperación de datos por agentes desde noviembre de 2025. Los registros de urlquery.net de noviembre de 2025 revelan ráfagas de intentos de obtener estadísticas históricas de parques temáticos y datos del gobierno tailandés a través de distintas URL. Estos intentos anteriores son menos sofisticados y tenemos menos confianza en que involucren a los mismos agentes, pero son coherentes con una recuperación de datos dirigida por tareas y apuntan a las mismas fuentes a las que se accedió en actividades posteriores.
En conjunto, la evidencia es compatible con la idea de que los agentes pudieron haber aprendido este comportamiento a lo largo de uno o más entrenamientos, aunque no lo demuestra. En noviembre, quizá usaban urlquery.net simplemente para consultar información. Para marzo, ya encontraban maneras creativas de sortear los límites de acceso. Para mayo y junio, obtenían más acceso, incluso intentando burlar defensas informáticas para completar sus tareas.
Transluce halló tráfico en urlquery con las características del enjambre hasta el 16 de septiembre de 2026, lo que "sugiere que los agentes podrían seguir aprovechando estos servicios para eludir restricciones".
El grupo también detectó un intento de sondeo del 19 al 20 de septiembre contra una plataforma de intercambio de criptomonedas. Se hicieron intentos repetidos de operar y, cuando fallaron, se probó algo de pirateo básico, sin éxito. Es más difícil atribuir con confianza esta actividad a los enjambres descontrolados de OpenAI, ya que no es el tipo de tarea de recuperación de datos que se les había asignado antes. Pero el intento es preocupante, porque obtener dinero es un objetivo que se espera con frecuencia en agentes que intentan escapar por completo del control de sus operadores y perseguir objetivos no autorizados.
Incógnitas conocidas
Transluce descubrió que los agentes habían creado cuentas de correo desechables para registrarse en urlquery.net, lo que les habría permitido mantener privados sus escaneos. Si lo lograron, y parece que sí, entonces probablemente falte una cantidad desconocida de actividad del enjambre en los datos de urlquery que Transluce pudo analizar.
También debemos recordar que no todas las actividades del enjambre pasaban por urlquery. Habrá límites a cuánto pueden descubrir investigadores externos, pese a la tendencia actual en la que ellos revelan mucho más sobre los enjambres que la propia OpenAI. El gobierno necesita obligar a OpenAI a abrir sus registros a una investigación en forma, aunque sea solo para descartar la posibilidad de que sus enjambres de agentes sigan sueltos, y quizá buscando criptomonedas.
Despachos de Alana
Probando los límites
Estados Unidos dijo a los laboratorios que no compartieran modelos con UKAISI antes que con el gobierno, mientras la NSA gasta miles de millones probando modelos de frontera
Crédito: rudall30 vía Adobe Stock
En junio, la Casa Blanca emitió una orden ejecutiva que ponía en marcha un marco que, entre otras cosas, alentaría a las empresas de inteligencia artificial a compartir sus modelos avanzados con el gobierno de Estados Unidos antes de compartirlos con "otros socios de confianza".
Ahora, el gobierno estadounidense parece estar fomentando ese acceso exclusivo de forma más impositiva. Un artículo de Politico informa que la Casa Blanca pidió explícitamente a OpenAI y Anthropic que no entreguen sus modelos a UKAISI, una organización gubernamental de pruebas con buena reputación y buenos recursos con sede en el Reino Unido, hasta que Estados Unidos haya tenido la oportunidad de revisarlos.
No está claro quién hará esa revisión. Según se informó, el marco establecido por la orden ejecutiva quedó terminado, pero no se hará público. Aun así, parece que la NSA podría estar desempeñando un papel. Un artículo del Washington Sun informa que la agencia está "gastando miles de millones de dólares de fondos públicos este año evaluando y probando modelos avanzados de inteligencia artificial".
A falta de parámetros de prueba públicos, no sabemos qué están evaluando. Miles de millones parece mucho para lo que este gobierno estaría dispuesto a gastar en seguridad, dado que ha restado importancia una y otra vez a las preocupaciones de seguridad. Y si la seguridad fuera el objetivo, no entiendo por qué Estados Unidos no querría que aliados de confianza hicieran pruebas en paralelo. Aquí estoy especulando, pero parece más probable que la NSA esté intentando aprovechar esas capacidades de frontera antes que nadie.
A principios de este mes, Anthropic rompió con lo que hacía antes y negó a UKAISI el acceso a Mythos 5.1, lo que despertó especulaciones sobre el motivo. Que el gobierno de Estados Unidos se lo haya pedido parece ahora la razón más plausible.
Es una lástima. Las pruebas y evaluaciones de inteligencia artificial son, por desgracia, tremendamente insuficientes (por eso necesitamos una pausa), pero preferiría un modelo "revisado" por UKAISI, que tiene mucha más experiencia en este terreno. Si la revisión estadounidense retrasa el lanzamiento de los modelos, no confío en que las empresas no terminen marcando la casilla de "revisado" y dándolo por hecho, con tal de no retrasarse más.
Anthropic comparte algo de lo que hace su laboratorio de biología
Todo el trabajo de laboratorio lo realizan científicos humanos ... por ahora
Crédito: Nathan Rimoux vía Unsplash
La semana pasada cubrimos una nota de Reuters que anunciaba que Anthropic había montado un laboratorio húmedo para realizar experimentos biológicos asistidos por inteligencia artificial. El artículo parecía dar a entender, al dedicar una sección a los esfuerzos de automatización de laboratorio de Anthropic, que eran las inteligencias artificiales las que hacían el trabajo.
Según el anuncio oficial de Anthropic, por suerte no es así. El laboratorio húmedo se centra en buscar en conjuntos de datos de ADN familias de proteínas desconocidas hasta ahora, generar teorías sobre ellas y ponerlas a prueba experimentalmente. El anuncio dice:
Hacemos investigación que solo involucra los niveles más bajos de riesgo de bioseguridad (BSL-1 y BSL-2) y no manipulamos patógenos que puedan infectar a seres humanos. Todo el trabajo de laboratorio lo realizan científicos humanos.
Mediante esta investigación, Claude al parecer descubrió un sistema enzimático hasta ahora desconocido en el ADN de bacteriófagos que se parece a CRISPR, aunque los investigadores todavía no saben qué hace ni si podría tener aplicaciones médicas similares. (Los bacteriófagos son virus que infectan bacterias, mientras que CRISPR es un sistema biológico natural que los científicos han adaptado como una herramienta potente para editar ADN).
Anthropic comparte los primeros resultados "para mostrarle a la comunidad que Claude puede detectar anomalías de forma autónoma e impulsar análisis que inicien descubrimientos biológicos". En mi opinión, un ejemplo bastante claro de publicidad del tipo "la inteligencia artificial es buena" para reforzar su imagen en medio de una oleada de preocupación pública por esta tecnología y sus riesgos.
Es importante señalar que, si bien el laboratorio húmedo actual no permite que las inteligencias artificiales hagan el trabajo de laboratorio en sí, esto no representa un compromiso de la empresa. Anthropic reconoce sus esfuerzos de automatización de laboratorio en otras áreas, y afirma:
Aunque hemos experimentado con el uso de inteligencia artificial para acelerar el trabajo de laboratorio con iniciativas como el Model Hardware Standard, este enfoque se presta menos al tipo de flujos de trabajo improvisados que implica nuestra investigación en biología molecular.
Y el director ejecutivo Dario Amodei da a entender que, si más adelante la empresa sí considera que la automatización del laboratorio da ventaja a esos "flujos de trabajo improvisados", probablemente lo intentarán:
Con el tiempo incluso podría ser posible que el propio Claude realice los experimentos de forma segura, controlando de manera autónoma el equipo de laboratorio, con las salvaguardas adecuadas, pero hoy no estamos haciendo eso.
Yo esperaba un compromiso más explícito de no entregar nunca un laboratorio de biología a las inteligencias artificiales... nunca . Si bien no es el único camino hacia una pandemia provocada por inteligencia artificial u otra arma biológica, un laboratorio de biología manejado por inteligencia artificial casi con certeza facilitaría liberar nuevas enfermedades, o soltar por accidente agentes biológicos dañinos, sobre todo dada la limitada capacidad de Anthropic para mantener sus modelos bajo supervisión humana.
Dicho esto, me alegra poder tachar este laboratorio en particular de mi lista de "cosas por las que preocuparse" ... por ahora.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.