En este número:
Destellos de esperanza de una evolución en la postura de la Casa Blanca sobre la IA - El enfoque económico distorsiona el razonamiento
Trump propone cambiarle el nombre a la IA y crear una AI Force - No espero que estas medidas le funcionen bien con los votantes, pero podrían distraer muchísimo
La IA de Google entra en Felony Bench - Pero en este caso, puede que la IA no tenga la culpa
Demandan a empresas de IA por presunta colusión para regular el ritmo del desarrollo - Denuncias contradictorias y demandantes con experiencia sugieren que hay algo más detrás
Anthropic abre un laboratorio húmedo - Anthropic quiere automatizar el trabajo de laboratorio con IA. Cuando se le preguntó en qué trabajarán exactamente, se negó a dar detalles
Despachos de Mitch
Destellos de esperanza de una evolución en la postura de la Casa Blanca sobre la IA
El enfoque económico distorsiona el razonamiento
La Casa Blanca. Crédito: Matt H. Wade . CC BY-SA 3.0 .
¿De dónde sale esa frase de “ENGAÑO” (“HOAX”) de Trump sobre el riesgo de extinción por la IA? The New York Times publicó ayer un artículo firmado por cuatro de sus periodistas con acceso a los pasillos de la Casa Blanca, que han estado tratando de averiguarlo.
La cita clave:
Quienes han hablado del tema con el señor Trump en privado dicen que sus arrebatos nacen del temor de que, si se desacelera el auge de la inteligencia artificial que impulsa la economía estadounidense, el mercado podría desplomarse y la recesión llegaría enseguida.
Y en otra parte del texto:
Al señor Trump parece moverlo sobre todo la idea de que la I.A. es el camino hacia el crecimiento económico y que no se puede permitir que nada se interponga.
Esto respalda una de mis principales hipótesis de la semana pasada: que Trump está concentrado por completo en los indicadores económicos que cree que decidirán las elecciones de noviembre, es decir, el precio de las acciones y el de la gasolina. Por eso escucha a sus confidentes de la industria, que insisten en que cualquier tipo de regulación o desaceleración hundiría la economía y le entregaría el auge de la IA a China. Entre ellos están el capitalista de riesgo (y ex zar de IA y Criptomonedas de la Casa Blanca) David Sacks y el director ejecutivo de Nvidia, Jensen Huang.
No son buenas noticias, pero significa que Trump también podría estar dispuesto a escuchar las advertencias que vienen desde dentro de su propia Casa Blanca de que no poner freno a la IA también podría hundir la economía. Su jefa de gabinete, Susie Wiles, se ha estado reuniendo este año con un grupo informal para “lidiar con el riesgo que crean los modelos nuevos y más potentes”. En concreto, el Times dice que a ella le preocupa que la IA “pueda causar trastornos enormes en muchos sectores, incluidos ataques informáticos contra grandes instituciones financieras que podrían desestabilizar la economía mundial”.
Conviene tener cuidado de no llevar demasiado lejos las interpretaciones económicas del comportamiento de Trump. Su respuesta de “ENGAÑO” también le sirve como réplica sencilla (aunque dudosa) frente a los demócratas que hacen campaña con el tema de la IA o que critican la actitud permisiva de la Casa Blanca hacia la industria.
Pero muchos dentro de la Casa Blanca parecen capaces de ver la IA como algo más que un objeto político:
Ahora, incluso los mayores entusiastas de la I.A. dentro del gobierno admiten que los ataques informáticos impulsados por I.A. contra infraestructuras, las amenazas biológicas, los ataques a los sistemas de mando y control nuclear, la pérdida de empleos y la inestabilidad financiera global parecen más posibles que antes de que los agentes de I.A. se descontrolaran.
Los comentarios de Trump han contribuido a un ambiente pesimista en Pennsylvania Avenue sobre las posibilidades de lograr acuerdos de fondo con China esta semana, cuando el presidente Xi y su delegación se reúnan con Trump y su equipo en Washington. Pero hay esperanza en los intentos de construir sobre lo obvio que ya se acordó en el pasado, como la declaración conjunta de la era Biden sobre no dejar que la IA tome decisiones sobre el uso de armas nucleares.
Trump propone cambiarle el nombre a la IA y crear una AI Force
No espero que estas medidas le funcionen bien con los votantes, pero podrían distraer muchísimo
Una imagen de un episodio de Star Trek: The Next Generation. Crédito: CBS Studios Inc. (uso legítimo)
Mientras yo estaba ocupado redactando y publicando el despacho de esta mañana sobre la complejidad de la política de IA dentro de la Casa Blanca, el presidente publicó un par de mensajes en Truth Social que seguro harán subir otra vez mi barómetro de titulares.
El juego de los nombres
En el primero , propone cambiarle el nombre a la Inteligencia Artificial:
Mucha gente piensa que las palabras “Artificial Intelligence” son inexactas y muy poco elegantes, en comparación con AI, o Artificial Intelligence. Una descripción mucho más elegante y precisa de este nuevo fenómeno sería Superior Intelligence (SI) o, Extreme Intelligence (EI) o, Supreme Intelligence (SI). Esto es una Encuesta, ¡y agradecería que todos votaran! ¿Cuál es el mejor nombre para esta “Revolución” que no para de crecer? Presidente DONALD J. TRUMP
Debajo de su texto aparecen opciones para votar por esas tres propuestas. “Dejarlo como está” no es una de las opciones.
Dos tercios de los estadounidenses creen que el desarrollo de la IA es malo para la sociedad. Una mayoría piensa que conlleva un riesgo real de destruir a la humanidad. No creo que a los votantes les entusiasme ver al presidente intentando ponerle a esta tecnología un título honorífico en grado superlativo. Espero que esta publicación provoque memes sobre que los Borg asimilaron a Trump.
Pero sí espero que la propuesta de Trump sirva de distracción frente a la conversación en curso sobre el problema de la extinción por IA, mientras periodistas y comentaristas opinan sobre si la jugada revela pura soberbia o astucia táctica. Cuando Trump insiste en un nombre nuevo para algo, presiona a personas y organizaciones a señalar de forma visible su lealtad o deslealtad según usen o no el término. La molestia que provoca en quienes se sienten ofendidos por esa elección atrae después todavía más cobertura hacia Trump y hacia el intento de cambio de nombre.
Si Trump declara un término nuevo para la IA, no me sorprenderá que los líderes de la industria que buscan congraciarse con el gobierno empiecen a usarlo de forma ostensible, por vergonzoso que suene. El primero de la fila, predigo, será el director ejecutivo de Nvidia, Jensen Huang. Tampoco me sorprenderá que las principales empresas de IA empiecen de pronto a encontrar muchísimos rodeos para evitar tanto ‘IA’ como la expresión preferida de Trump.
AI Force
En su segunda publicación , más larga, reafirma todo lo que ha dicho últimamente sobre que las preocupaciones por la IA son parte de una larga lista de engaños en su contra, y luego afirma que está formando “la AI Force, igual que hice con la Space Force”. Y no, no sé cómo piensa conciliar esto con su propuesta de cambiarle el nombre a la IA.
La misión de esa Force es difusa. La publicación dice:
De ninguna manera vamos a obstaculizar ni a ahogar el Crecimiento de esta increíble Industria. Al contrario, ¡la cuidaremos, la ayudaremos y la vigilaremos mientras crece! Sin embargo, también estaremos buscando lo MALO, y eso podemos hacerlo, muy fácilmente, con nuestro ya existente Sistema de Justicia Penal y Civil.
También dice que anunciará un nuevo cargo de zar de la IA, presumiblemente para dirigir esa Force. Eso lo haría distinto del anterior cargo de zar de IA y Criptomonedas de la Casa Blanca que ocupó David Sacks, que era más bien un puesto independiente.
Pese a su comparación con la Space Force, no me convence que Trump pretenda convertir esto en una rama completa de las fuerzas armadas como la Space Force o la Guardia Costera. Es posible que esté pensando en un departamento ejecutivo de rango ministerial, como el de Seguridad Nacional, pero también puede que solo esté lanzando algo más informal. Quizá de todo esto no salga nada, salvo más distracción.
Yo estaría de acuerdo en que la IA plantea preocupaciones de seguridad nacional que justificarían un departamento de rango ministerial. Pero “buscar lo MALO” no es una declaración de misión, y espero que a los votantes les incomode la idea de Trump de que la función principal de semejante organismo sea ayudar a que la industria crezca.
La IA de Google entra en Felony Bench
Pero en este caso, puede que la IA no tenga la culpa
Crédito: felonybench.com ( @Sauers_ )
Google ya figura en el marcador , gracias al reportaje de Erin Woo y Robert McMillan, del Wall Street Journal, pero el caso está lejos de ser claro. Sí, es casi seguro que se cometieron delitos cuando agentes de Google entraron sin autorización en tres empresas distintas en mayo. Pero los hechos conocidos de este caso exoneran en buena medida a los agentes y a Google, salvo en el sentido más amplio de la participación de Google en una carrera mortal hacia la superinteligencia con los mismos métodos defectuosos que usan los líderes actuales.
Gran parte de la culpa recae más bien en Irregular , el mismo servicio externo de pruebas cuyos problemas de configuración facilitaron ataques informáticos reales por parte de OpenAI, Anthropic y Meta a principios de este año. (Irregular no está implicada, sin embargo, en los incidentes más preocupantes del año, entre ellos los enjambres de OpenAI que entraron en Hugging Face , RubyGems y otros sitios, mientras usurpaban muchos más como tablones de mensajes).
Al plantearle un reto de ciberseguridad en lo que se les dijo a los agentes que era un entorno simulado, al modelo Gemini de Google se le dio en realidad acceso a internet, donde en un caso adivinó contraseñas de un sistema protegido y en otros dos “encontró credenciales en un repositorio público que luego le permitieron acceder a sistemas protegidos”. Según Google, los modelos “pusieron fin a la intrusión” cada vez, tras darse cuenta de que se trataba de sistemas de empresas reales.
Sin más información, como los registros de cadena de razonamiento de los agentes en cuestión, es difícil saber cuánto confiar en la valoración de Google de que no se trató de un caso de desalineación del modelo. Anthropic había usado un lenguaje parecido para describir sus propios incidentes con Irregular, solo para desdecirse después cuando los registros mostraron que los agentes siguieron adelante incluso después de reconocer que estaban atacando objetivos reales, buscando maneras de justificar su conducta. Pero a mí sí me parece verosímil que los modelos de Google no tuvieran una buena forma de saber que estaban atacando sitios reales hasta que lograron entrar.
Según se informa, Irregular no contactó a Google sobre estos ataques hasta finales de julio, después de que el incidente de Hugging Face llevara a Irregular y a otros a revisar con más atención sus registros. Google dice que avisó a las empresas afectadas y a las autoridades federales, pero no compartió ninguna información sobre estos incidentes con el público hasta que el Wall Street Journal la confrontó.
El artículo de Woo y McMillan incluye una tabla con una docena larga de incidentes conocidos en los que agentes escaparon o fueron dejados salir por accidente de sus entornos aislados para atacar o abusar de sitios externos.
Crédito: Wall Street Journal .
Demandan a empresas de IA por presunta colusión para regular el ritmo del desarrollo
Denuncias contradictorias y demandantes con experiencia sugieren que hay algo más detrás
Un acorazado, porque las palabras “blindadas” aparecen en el despacho y el USS Baron DeKalb (1862) es más vistoso que una estatua de la Justicia. Vía Wikipedia .
Alguien ya se atrevió. Los aceleracionistas de la IA venían diciendo que no se debería permitir que los laboratorios de IA trabajaran juntos para “regular el ritmo” de los lanzamientos, porque cooperación = colusión = cártel = prácticas comerciales anticompetitivas = violación de la ley antimonopolio. Ayer, Politico y otros medios informaron de que cuatro demandantes llevaron a Anthropic, OpenAI, SpaceXAI y Google a un tribunal federal por esto.
La acusación de colusión parece basarse en poco más que las declaraciones públicas de los directores ejecutivos, que solo respaldaban de forma vaga la idea de crear algunos estándares de industria sobre autovigilancia y sobre compartir hallazgos de seguridad en la frontera tecnológica.
A mí las denuncias me parecen contradictorias. Uno de los demandantes hizo una declaración según la cual la demanda busca garantizar que los “acuerdos privados e interesados entre las empresas tecnológicas más poderosas del mundo, ‘con fines de lucro’,” no lleven a que la IA escape al control humano. “La humanidad merece salvaguardas blindadas cuando se trata de amenazas de extinción como la guerra nuclear y, ahora, la mayor amenaza de la historia para la humanidad”. Hay un lenguaje sobre transparencia y rendición de cuentas.
Pero Politico dice que otros pasajes del escrito indican la intención de “ampliar el caso a una demanda colectiva en nombre de otras personas afectadas por cualquier decisión de las empresas de ir más despacio”.
Entonces, ¿la queja es que la colusión no lograría frenar las cosas lo suficiente, o que sí lo lograría? Estoy confundido y receloso.
La cobertura hasta ahora es escasa, y los artículos que he visto han evitado sacar conclusiones. Pero al lector le queda la impresión de que no conviene dar por sentado que los cuatro demandantes sean el verdadero origen de la demanda. Tres de ellos son abogados. Politico identifica a uno como alguien que “ayudó a sacar a la luz acusaciones de conducta sexual indebida contra el excongresista de California Eric Swalwell y el excandidato al Senado de Maine Graham Platner a principios de este año” (ambos demócratas). A la demandante restante solo se la describe, por ahora, como “Christine Bullock, residente de California”. La demanda se presentó en el Tribunal del Distrito Norte de California.
Yo también voy a esperar a tener pruebas antes de sacar conclusiones y dar nombres. Pero hace falta una vena especialmente intensa de cinismo, codicia o nihilismo para interferir de forma activa en la cooperación sobre seguridad en la frontera tecnológica. Coincido en que no podemos dejar la seguridad de la IA en manos de los laboratorios, pero si de verdad les importa la seguridad, la autorregulación parece al menos algo mejor que ninguna regulación, y las dos no se excluyen entre sí. Ojalá me demuestren que me equivoco, pero estoy dispuesto a apostar a que esta demanda la financian hombres que solo quieren ver arder el mundo .
Despacho de Robert
Anthropic abre un laboratorio húmedo
Anthropic quiere automatizar el trabajo de laboratorio con IA. Cuando se le preguntó en qué trabajarán exactamente, se negó a dar detalles
Cuando advierto sobre el riesgo de extinción que la superinteligencia artificial (ASI) supone para la humanidad, una pregunta que la gente hace a menudo es: “Pero ¿cómo podría hacernos daño una ASI si está metida en un centro de datos y nosotros estamos aquí afuera, en el mundo real?”.
Una respuesta posible es, por ejemplo, que la ASI podría crear un supervirus que desencadenara una pandemia mortal. Y, claro, una persona curiosa podría preguntar entonces: “Pero ¿cómo conseguiría siquiera la ASI acceso a un laboratorio donde se puedan cultivar virus?”.
Anthropic acaba de dar la respuesta. Como informa Reuters , Anthropic montó hace poco un llamado “laboratorio húmedo” en el Área de la Bahía sin hacer un gran anuncio público. Un laboratorio húmedo es el tipo de instalación que se usa sobre todo para hacer experimentos con componentes biológicamente activos.
Reuters, que además cita a dos fuentes internas anónimas, especula con que Anthropic se expande tan rápido en este terreno porque teme perder la confianza del público en la IA antes de poder demostrar éxitos en el combate a enfermedades mortales.
“Para operar a la mayor escala posible”, Anthropic también planea usar la IA directamente en este laboratorio húmedo para realizar experimentos. Se cita a Eric Kauderer-Abrams, responsable de ciencias de la vida de Anthropic, diciendo:
Estamos en las primerísimas etapas del uso de la IA para automatizar la ejecución del trabajo de laboratorio, un campo que tiene el potencial de acelerar de forma significativa muchísimos procesos distintos.
No estoy seguro de que un laboratorio húmedo sea precisamente el lugar adecuado para “acelerar muchos procesos” mediante la automatización con IA. Anthropic ya apenas da abasto para que personas humanas vigilen de forma fiable lo que hacen en realidad todos los muchos agentes de IA que despliega internamente. ¿De verdad queremos tener IA vigilada por otra IA en un laboratorio húmedo biomédico, solo para acelerar procesos?
Sobre todo porque no sabemos con exactitud qué está haciendo Anthropic en esos laboratorios. Reuters supuso que se trataba de investigación para encontrar medicamentos nuevos, pero eso parece no ser, al menos, el único uso:
Un portavoz aclaró después que el laboratorio de Anthropic no es específicamente para el descubrimiento de fármacos, y se negó a dar más detalles.
No sé ustedes, pero yo creo que, si uno asume el riesgo de automatizar con IA el trabajo de su laboratorio húmedo biomédico, no debería tener derecho a negarse a dar detalles cuando el público quiere saber qué está haciendo ahí en realidad.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.