Futuros que vale la pena proteger

Nota de aprendizaje

La seguridad de la IA busca prevenir daños y mantener un comportamiento suficientemente fiable y controlable para el contexto previsto. Un sistema útil puede ser inseguro en otro entorno. Un asistente que sugiere una respuesta y un agente que envía dinero pueden usar modelos parecidos, pero las consecuencias de un error son muy distintas.

La IA de uso general realiza diferentes tipos de tareas. La IAG, inteligencia artificial general, no tiene un umbral universalmente aceptado; aquí designa un sistema hipotético con capacidad amplia para realizar trabajo cognitivo a un nivel aproximadamente humano o superior. La superinteligencia supone superar ampliamente el desempeño humano en muchos ámbitos relevantes. Ninguno de estos términos demuestra por sí solo conciencia, una fecha de despliegue ni una conclusión política.

Seguridad, protección frente a ataques y gobernanza se relacionan. La seguridad pregunta cómo prevenir daños; la protección frente a ataques considera accesos no autorizados e interferencia maliciosa; la gobernanza aborda quién decide, bajo qué reglas y con qué rendición de cuentas. La alineación pregunta si el comportamiento sirve a los objetivos y restricciones previstos. Acordar esos objetivos es también una tarea humana e institucional.

Un buen futuro exige más que enumerar capacidades. Pregunta quién se beneficia, quién asume riesgos, quién puede negarse y quién puede cuestionar una decisión. Un servicio más rápido puede perjudicar a personas con necesidades complejas. Un servicio más seguro también puede resultar costoso o inaccesible. Haz visibles estas tensiones antes de elegir una herramienta.

Laboratorio de fuentes · 30 minutos

Lee la introducción y las categorías de riesgo del resumen del Informe Internacional, seleccionando Español. Identifica un daño observado, un riesgo futuro incierto y un juicio de valor que corresponde aportar a quien decide. Como alternativa, clasifica estas frases de HASI: «En nuestra prueba ficticia, dos avisos tenían fechas incorrectas»; «Un agente futuro podría propagar un error entre instituciones»; «Las personas deberían poder apelar de manera efectiva». Explica por qué un escenario no establece la frecuencia de un daño.

Recuperación de ideas · cierra la página

Explica la seguridad de la IA en 60 segundos sin usar IAG, alineación ni gobernanza. Después vuelve al texto y corrige las distinciones que faltaron.

Caso ficticio

Puente es un centro de apoyo universitario que presta servicios a la comunidad. Evalúa un agente de IA que redacta recordatorios de becas, recomienda citas y actualiza una base de datos de apoyo estudiantil. La dirección quiere reducir las filas. El personal quiere menos tareas repetitivas. El alumnado quiere información correcta y una vía para corregir errores. La empresa proveedora quiere un lanzamiento exitoso.

En 40 borradores ficticios, el personal encontró dos fechas límite incorrectas y una afirmación de elegibilidad sin respaldo. Son resultados sobre borradores, no daños estudiantiles medidos. No se probó el envío autónomo. La empresa ofrece un piloto limitado; el centro también puede conservar el proceso manual. Se acerca el cierre de una beca. No se conoce ningún ataque ni hay evidencia de engaño intencional.

Ficha de trabajo · 60 minutos

1. 10 min: Describe un buen resultado en 100 palabras. Incluye calidad, acceso y posibilidad de cuestionar errores.
2. 15 min: Identifica cuatro actores. Para cada uno, indica qué quiere, qué sabe, qué autoridad tiene y qué podría cambiar su postura.
3. 10 min: Separa tres observaciones de tres supuestos. ¿Qué falta saber sobre gravedad, personas afectadas y desempeño actual del personal?
4. 15 min: Compara el proceso manual, un piloto que solo redacta borradores y el envío autónomo. Indica beneficio, riesgo e información necesaria para cada opción.
5. 10 min: Redacta una decisión provisional de 150 palabras con fecha de revisión y una condición para cambiar de opinión. No inventes resultados medidos.

Roles para la sesión

Dirección: Controlas el alcance del lanzamiento y la dotación de personal. Explica el costo de la demora y qué evidencia justifica implementar.
Representación estudiantil: Puedes solicitar cambios, pero no implementar. Pregunta cómo se detectan y corrigen errores.
Responsable del personal: Operas el servicio. Puedes revisar diez borradores por hora. Identifica qué ocurre si la demanda supera esa capacidad.
Representación de la empresa: Puedes modificar permisos y aportar información de pruebas. Explica qué demuestra y qué no demuestra tu evidencia.

Cada rol propone una decisión, escucha objeciones y revisa una condición. No tiene que coincidir con tu opinión personal.

Informe acumulativo · 45 minutos

Crea un documento con estos títulos: problema, evidencia, opciones, recomendación, incertidumbre y próxima acción. Completa los primeros tres con Puente u otro caso ficticio igualmente acotado. Comprueba que las personas aparecen como participantes en las decisiones.

Comprobación final

¿Puede un sistema ser útil y estar desalineado? Da un ejemplo. ¿Qué evidencia cuestionaría tu decisión?