En esta edición:
Solo es creatividad si... - Meta móvil deja a los artistas de efectos visuales del lado equivocado de la frontera de la "creatividad"
¿Me pasas ese despernillador? - Un nuevo tipo de ciberataque explota las alucinaciones de los agentes de programación
Boletines de Mitch
Solo es creatividad si...
Meta móvil deja a los artistas de efectos visuales del lado equivocado de la frontera de la "creatividad"
Una toma temprana de efectos visuales. De la película El hombre de la cabeza de goma , 1901. Fuente .
La manera más fácil de seguir afirmando que la IA no es creativa consiste en definir la creatividad como aquello que la IA todavía no puede hacer. El problema de esa definición es que cada vez deja a más humanos del lado equivocado.
Vivimos entre IAs capaces de escribir poesía épica rimada de 10 páginas , sobre un corte de pelo, donde cada palabra empieza con la letra s. (Vean esta publicación del mes pasado para el contexto.) Vivimos entre IAs capaces de superar por su cuenta el desafío diario del videojuego Slay the Spire 2 . Como lo expresó Ethan Mollick, el investigador que publicó ambos resultados:
Slay the Spire 2 es un juego muy complicado, con muchas decisiones que tienen implicaciones estratégicas de gran alcance y que pueden no rendir frutos (o condenarte) hasta muchas jugadas después, además de una cuidadosa gestión de recursos. Y salió después del periodo de entrenamiento.
Si ustedes le dijeran a una persona que acaba de lograr cualquiera de estas dos hazañas que en realidad no hizo nada creativo, creo que no estaría de acuerdo.
Si se los presiona, algunos dirían que los humanos resuelven estos problemas con creatividad, mientras que la IA los resuelve de otra forma, más mundana. Pero llegados a ese punto, no queda claro si la palabra "creatividad" es algo más que una marca comercial, igual que solo es champán si viene de la región de Champaña, en Francia.
Si el objetivo de ese ejercicio de marca es proteger el sustento de los creativos humanos como si fueran viticultores franceses, yo diría que ya está fracasando.
Hace unos días salió un artículo en el Hollywood Reporter sobre cómo Netflix compró la empresa de efectos visuales con IA de Ben Affleck por 587 millones de dólares en efectivo . Se me salieron los ojos con la cifra, pero no pensaba escribir al respecto porque la compra en sí ya era noticia vieja, y parecía una nota puramente de negocios. Pero entonces vi el punto donde el periodista describía a la empresa como una que pone "especial énfasis en transformar los efectos visuales sin afectar la parte creativa del cine ." (negritas mías)
¿Los efectos visuales no son una de las partes creativas? Pensé que quizás era solo la interpretación del reportero, pero una publicación en el blog de Affleck dice:
Sabía que tenía una responsabilidad con mis colegas y con nuestra industria, la de proteger el poder de la creatividad humana y a las personas que están detrás de ella.
Al parecer, esta "creatividad humana" no abarca el trabajo para el que Affleck dice que entrenaron su primer modelo:
[Fue] entrenado para entender la lógica visual y la consistencia editorial, preservando a la vez las reglas cinematográficas ante los desafíos reales de la producción, como tomas faltantes, reemplazos de fondo o iluminación incorrecta.
Así que sí, la afirmación es que lograr efectos estéticos bajo restricciones reales y difíciles no requiere creatividad. Entendido. ¿Alguien se lo ha dicho a los actores, directores y equipos de rodaje que terminan una filmación complicada?
La moraleja: insistir en que la IA no puede ser creativa no evita que venga por su trabajo. Solo hace que la gente decida que su trabajo nunca fue creativo, para empezar.
Por cierto, este patrón no es nuevo. Se remonta a mucho antes de la era de ChatGPT. Vean el video más reciente de Rational Animations para conocer la historia de las metas móviles en torno a la creatividad de la IA.
¿Me pasas ese despernillador?
Un nuevo tipo de ciberataque explota las alucinaciones de los agentes de programación
Crédito: Museokeskus Vapriikki . CC BY 2.0 .
Una estafa clásica de los primeros años de internet era el "typo squatting": comprar el nombre de un dominio web que la gente podría escribir por error. Una página como "yagoo" o "myspage.com" podía servir para distribuir software malicioso o para engañar a un usuario y que ingresara sus credenciales de Yahoo o MySpace.
Una variante de esta estafa en la era de la IA es el llamado ataque de "HalluSquatting", tema reciente de una columna de Kurt Knutsson en Fox News. Este ataque aprovecha el hecho de que los agentes de programación con IA a veces alucinan, de ahí la parte "hallu" de HalluSquatting, y lo hacen de maneras predecibles. Como los agentes de IA de hoy carecen de memorias compartidas y de largo plazo, es como si cada nueva sesión de Claude o ChatGPT despertara al inicio de un bucle temporal. Esto significa que pueden tropezar sin saberlo con algunos de los mismos errores que cometieron la vez anterior, si se les asigna una tarea parecida. Algunos de esos errores son alucinaciones, como echar mano de herramientas de programación que en realidad no existen.
Como analogía, imaginen que tienen en su taller a un asistente muy productivo que acaba de usar su sierra de cinta, su torno y su taladro de columna antes de buscar un despernillador. Al no encontrar ninguno, les dice: "Oigan, veo que no tienen un despernillador. Es la herramienta indicada para este trabajo. ¿Les molesta si pido uno?"
Ustedes se rascan la cabeza, porque nunca han oído hablar de un despernillador. Pero su asistente es muy hábil en su trabajo, así que suponen que sabe de lo que habla y dicen: "Claro".
¿Qué pasa después? Idealmente, no logra pedir el despernillador, porque la herramienta no existe. Pero, ¿y si existe? ¿Y si alguien fabricó una herramienta llamada despernillador y la puso en un mercado en línea para que su asistente la encuentre? Ahora están en problemas, porque esa herramienta podría ser cualquier cosa.
Esto es básicamente lo que puede ocurrirles a los agentes de programación que usan repositorios de código abierto. A veces alucinan e intentan descargar bibliotecas de código que no deberían existir. Los delincuentes que han estudiado a esos agentes hacen que esas bibliotecas existan. Los agentes de programación descargan esas bibliotecas, e instalan software malicioso o introducen vulnerabilidades en el nuevo código de sus usuarios para que los delincuentes las exploten más adelante.
Este ataque puede tener mucha menos fricción que en mi analogía del taller. Los usuarios que se cansan de aprobar cada pequeña acción pueden configurar sus agentes con permiso general. Es probable que un paquete malicioso al que recurra un agente no tenga un nombre obviamente sospechoso como "despernillador" que haría saltar la alarma de un usuario atento. Y la descarga probablemente es gratuita.
Un artículo de investigación sobre el HalluSquatting encontró tasas de alucinación de hasta el 85% en escenarios donde los agentes actúan para descargar bibliotecas de código. También hallaron que las IAs de distintas empresas a veces alucinan los mismos nombres de herramientas inexistentes, lo que podría hacer que los ataques de squatting sobre esos nombres resulten especialmente lucrativos.
No está claro qué tan extendidos están estos ataques, pero está probado que funcionan. Por ahora, la única defensa real es la obvia: no dejen que su agente descargue software por ustedes, y usen solo bibliotecas de código que conozcan y en las que confíen.
Mi preocupación es que muchas de las personas que ahora se inician en el vibe coding carecen incluso de nociones mínimas de programación, y por lo tanto podrían no saber siquiera qué es una biblioteca de código. Si la palabra "sierra de cinta" les resulta tan ajena como "despernillador", lo más probable es que dejen que su asistente maneje el taller.
Aquí hay una lección más amplia sobre la dificultad de supervisar el trabajo de un experto que los supera en un campo determinado. Las empresas de IA que esperan mantener bajo control a las IAs sobrehumanas dejando su diseño en manos de IAs apenas menos sobrehumanas corren hacia una posición en la que todo les sonará a despernillador.
Si las dejamos hacerlo, estamos despernillados.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.