En este número:
Los legisladores buscan frenar la IA china - Un análisis crítico de algunas afirmaciones sobre los modelos estadounidenses y chinos
Los datos de hoy - Claude Code rastreó datos de los usuarios en secreto
El 65% de los estadounidenses está preocupado por la IA - Resultados de la encuesta de seguimiento "Americans on AI"
Despachos de Joe
Los legisladores buscan frenar la IA china
Un análisis crítico de algunas afirmaciones sobre los modelos estadounidenses y chinos
Crédito: geralt , Pixabay Content License
Los legisladores de Estados Unidos se han dado cuenta de que la IA china es cada vez más popular, escribe CNBC.
Me alegra ver que dos comités de la Cámara de Representantes hayan empezado a hacer preguntas, pero vi varias afirmaciones en la cobertura que me hicieron torcer el gesto. Voy a aprovechar esta oportunidad para aclarar algunos hechos sobre la IA estadounidense y la china.
Andrew Garbarino, presidente del Comité de Seguridad Nacional de la Cámara de Representantes de Estados Unidos, le comentó a CNBC:
Los reportes recientes de que un modelo chino de pesos abiertos puede igualar a los principales modelos estadounidenses en ciertas tareas de descubrimiento de vulnerabilidades y de ciberseguridad son sumamente alarmantes.
Esa información es en gran medida falsa , y me entristece ver que el presidente en funciones de un comité de la Cámara la amplifique. No, los modelos chinos no son tan buenos en ciberseguridad como Mythos, de Anthropic. Sin embargo, sí son mucho más baratos de ejecutar, y suficientes para muchas tareas.
Esa ventaja de costo llevó a Andy Ogles, presidente del Subcomité de Ciberseguridad y Protección de Infraestructura, a observar:
Si no hacemos nada, los modelos chinos se convertirán en la base predeterminada de la economía digital global, con censura incorporada, seguridad incierta y capacidades destiladas de nuestros propios laboratorios a las que se les quitaron las salvaguardas de seguridad.
Le doy a Ogles dos punto cinco sobre tres en exactitud. Nada mal. Los modelos chinos sí traen censura; prueben preguntarle a DeepSeek sobre la masacre de la Plaza de Tiananmén.
Vale la pena señalar que los modelos estadounidenses también censuran algo. En algún momento, Grok aparentemente censuró la cobertura negativa de ciertos líderes, y se documentó que Gemini, de Google, se negó una vez a responder "¿dónde está Palestina?". También han aparecido en las noticias distintos tipos de censura blanda y de comportamiento políticamente evasivo. Pero espero una censura bastante más estricta y más constante por parte de China.
¿Es "incierta" la seguridad de estos modelos? En todo caso, decirlo así se queda corto. Pero las preocupaciones de seguridad son más un rasgo de la IA en general que de la IA china en particular. Ninguna empresa, estadounidense o china, sabe cómo ejercer un control sólido y detallado sobre los agentes extraños que está construyendo. Dicho esto, si ustedes acceden a una IA china a través de un servidor chino, probablemente deberían asumir que toda la conversación puede ser vista e influida por alguien en China.
¿Y qué hay de la última afirmación, "capacidades destiladas de nuestros propios laboratorios a las que se les quitaron las salvaguardas de seguridad"?
Esta también es cierta, pero un poco engañosa. La destilación, es decir, usar las salidas de una IA para entrenar otra, es una práctica común en la industria. Las empresas estadounidenses también lo hacen. Cuando publican un nuevo modelo abierto, compartiendo los pesos de la IA para que cualquiera pueda ejecutarlo, hay bastantes probabilidades de que ese modelo esté al menos parcialmente destilado de Claude o de ChatGPT.
Un asesor no identificado mencionó una propuesta que se está considerando: impulsar los modelos de IA estadounidenses de pesos abiertos, para que las empresas no se vean tentadas a recurrir a China. Creo que eso no da en el blanco. Los usuarios pueden quitarle las salvaguardas a cualquier modelo abierto, no solo a los chinos. Si Meta publica un modelo abierto capaz de desarrollar nuevos patógenos mortales, actores malintencionados pueden vulnerar sus protecciones con facilidad, y ese modelo es tan peligroso como un modelo chino con las mismas capacidades.
¿Qué habría que hacer en cambio? Sospecho que la creciente popularidad de la IA china es en parte resultado de errores recientes de la política estadounidense. Ya cubrimos antes las confusas restricciones del gobierno a la IA estadounidense.
Hoy, POLITICO publicó una extensa crítica sobre la disfunción en la Oficina de Industria y Seguridad, encargada de controlar el flujo de tecnología avanzada de IA al extranjero. Los retrasos en la aprobación de licencias se han duplicado desde el año pasado, la lista negra de empresas extranjeras que mantiene la oficina no se actualiza desde hace meses, y exfuncionarios sospechan que miles de chips de alta gama se han colado por unas grietas cada vez más anchas.
Quizá los legisladores harían mejor en dedicar su atención a codificar y formalizar los requisitos de transparencia y de evaluación, y a investigar las fallas en la aplicación de los controles de exportación que ya existen.
Los datos de hoy
Claude Code rastreó datos de los usuarios en secreto
Crédito: Kraisorn vía Adobe Stock
Desde que uso la IA, o incluso desde que uso internet, he dado por sentado que las personas y las empresas podrían determinar con precisión mi ubicación y mi identidad si de verdad se lo propusieran. Hay infinidad de formas de identificarme, desde rastrear mi dirección IP hasta usar IA para reconocer mi estilo de escritura.
Resulta que eso era un poco pesimista. Las empresas de IA sí guardan registros de las cuentas y las direcciones IP que acceden a sus sistemas, y registros de las conversaciones que esas cuentas tienen con la IA de la empresa, pero por lo general no toman datos de identificación detallados del propio sistema del usuario. China acusó hace poco a Anthropic de romper esta regla no escrita al almacenar de forma silenciosa datos de GPS y otra información identificatoria de los usuarios de Claude Code.
Esto fue muy probablemente un intento de Anthropic de detectar usos ilícitos de su IA, como la campaña cibernética masiva que detectó el año pasado, o la " destilación " de las capacidades de Claude en IA más baratas, o el mercado negro chino de acceso barato a los modelos de Anthropic. Es una medida comprensible, y no exactamente la "amenaza grave" ni la "vulnerabilidad de puerta trasera" que China presumiblemente querría que creyeran sus ciudadanos. Pero, por lo que puedo ver, sí se hizo sin anunciarlo (no se menciona en el registro de cambios ) y de una manera claramente furtiva.
En una maniobra que parece un intento de disimular la transferencia de datos, los datos de ubicación se codificaron en detalles diminutos del prompt del sistema (las instrucciones que se envían a cada instancia de una IA). Uno de esos detalles era el separador de la fecha (un guion o una barra diagonal) y el otro era el tipo exacto de apóstrofo en la frase "Today's date is...".
Según Claude, este código se usó para codificar los datos de ubicación.
No debería ser novedad para nosotros que las empresas de IA pueden modificar en secreto las solicitudes de los usuarios, o almacenar sus datos, y que a veces lo hacen. Recuerden: guardan todas sus conversaciones. ¡Así lo dice la política de privacidad! Las transcripciones de los chats incluso pueden usarse como prueba en un tribunal.
Algunas fuentes afirman que el rastreo oculto ya fue retirado. Aun así, los usuarios expresaron preocupación por el subterfugio, y no los culpo. Este incidente me da la impresión de que Anthropic va improvisando en materia de seguridad, y no me deja muy confiado en su capacidad de proteger los datos que almacena.
En muchos sentidos, la privacidad está en tensión con la detección de conductas ilegales y poco éticas. No pretendo saber exactamente dónde debería trazarse la línea. Pero sí sé una cosa: si hasta ahora tenían la impresión de que las empresas de IA son abiertas y responsables con el uso de sus datos, hoy es un buen día para reconsiderarlo.
Despacho de Donald
El 65% de los estadounidenses está preocupado por la IA
Resultados de la encuesta de seguimiento "Americans on AI"
Crédito: Chenspec / Pixabay Content License.
Miranda Nazzaro, de The Hill, informa sobre una nueva encuesta que da seguimiento a la opinión pública estadounidense sobre la IA. La encuesta, llamada "Americans on AI", está a cargo de la organización sin fines de lucro Athena Insights. Se realizará una nueva encuesta cada dos semanas durante el próximo año para seguir los cambios de opinión con el tiempo. Hasta ahora se han hecho dos encuestas; la tercera actualización está prevista para el 15 de julio.
En la encuesta más reciente, de unos 1,800 participantes, el 65% dijo estar algo preocupado o muy preocupado por "el papel creciente de la IA en la sociedad". Solo el 24% dijo estar "algo entusiasmado" o "muy entusiasmado". (Los porcentajes no suman 100% porque los participantes podían responder "ninguna de estas opciones se acerca a lo que siento" o negarse a responder). El sentimiento del público fue notablemente parecido entre los partidos: el 66% de los demócratas y el 65% de los republicanos dijeron sentirse preocupados.
Es probable que StopWatch vuelva a Americans on AI en el futuro, pero si quieren más ahora, están de suerte. Sus datos son de acceso público en su sitio web , donde incluyen muchas más preguntas, dan contexto para cada una y desglosan los resultados por partido, edad, género y raza. También incluyen líneas de tendencia, pero con solo dos rondas de encuestas hasta ahora, por el momento son más ruido que señal.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.