Diseñar defensas que toleren fallos

Nota de aprendizaje

La defensa en profundidad combina salvaguardas para que un fallo no produzca necesariamente un daño. El marco de Estrategia de IAG de BlueDot distingue prevenir entrenamiento peligroso, limitar capacidades peligrosas y resistir acciones peligrosas. HASI aplica esa estructura a decisiones que estudiantes e instituciones pueden analizar. Un piloto universitario no controla por sí mismo el entrenamiento de modelos de frontera; sí puede fijar condiciones de contratación e implementación, limitar accesos y preparar recuperación.

En desarrollo o contratación, exigir evaluaciones pertinentes y usos acotados. En capacidades y accesos, restringir herramientas y permisos, probar comportamientos y separar redacción de acciones importantes. En consecuencias, conservar registros, ofrecer corrección humana y preparar una alternativa manual. Son intervenciones por evaluar, no garantías de seguridad.

Tres versiones de una misma comprobación pueden compartir un fallo. Si el modelo redactor se revisa a sí mismo con información incompleta, ambas etapas pueden coincidir en una respuesta errónea. Evidencia independiente, autoridad diferenciada y una alternativa probada pueden ser más útiles que otra advertencia. No multipliques probabilidades de fallo sin justificar su independencia y sus valores.

La «supervisión humana» necesita una persona responsable con tiempo, información, autoridad y una intervención utilizable. Revisar cientos de resultados sin fuentes puede convertirse en aprobación automática. Un botón de suspensión solo sirve si alguien detecta el problema, puede activarlo y evita o revierte sus consecuencias. Algunos daños son irreversibles.

La gobernanza convierte intenciones en responsabilidades: ¿quién aprueba, monitorea, suspende, recibe apelaciones y asume el costo de los errores? Cada salvaguarda tiene costos. Más revisión puede demorar el apoyo; más registros pueden exponer datos privados. Compara esas tensiones explícitamente.

Laboratorio de fuentes · 30 minutos

Lee la sección de gestión de riesgos del resumen del Informe Internacional, disponible en español, o compara las fichas ficticias W4. Explica cómo dependen entre sí un control técnico y un procedimiento institucional. Profundización opcional en inglés: marco de defensa de BlueDot.

Recuperación de ideas

Nombra una medida preventiva, un límite de permisos y una medida de recuperación. Explica un fallo compartido que podría superar las tres.

Restricción ficticia de planificación

Puente dispone de diez horas de personal para preparar el piloto esta semana. Son estimaciones didácticas, no precios ni tiempos reales validados. Elige un paquete de hasta diez horas y justifica las exclusiones.

A · 2 horas: Mantener solo borradores; desactivar cambios en registros reales y envíos. Responsable: equipo técnico. Límite: los borradores pueden contener errores.
B · 3 horas: Crear un procedimiento para verificar fechas y elegibilidad con fuentes. Responsable: coordinación del personal. Límite: la revisión continua exige tiempo adicional.
C · 2 horas: Probar casos ficticios representativos e informar errores graves por separado. Responsable: evaluación. Límite: pueden faltar situaciones nuevas.
D · 3 horas: Probar alternativa manual y vía de corrección y apelación. Responsable: operaciones. Límite: corregir no siempre repara un plazo perdido.
E · 1 hora: Añadir revisión automática con el mismo modelo. Responsable: empresa proveedora. Límite: fallos correlacionados y datos faltantes.
F · 4 horas: Consultar a un grupo pequeño sobre accesibilidad y claridad. Responsable: participación comunitaria. Límite: los resultados pueden no representar a todas las personas.

Ficha de trabajo · 60 minutos

1. 15 min: Selecciona el paquete. Muestra la suma y el vínculo de cada medida con el mapa de riesgos.
2. 15 min: Indica responsable, señal de activación, acción, modo de fallo y comprobación de eficacia. Separa preparación y dotación continua.
3. 10 min: Identifica la dependencia compartida que más amenaza al paquete.
4. 10 min: Escribe una regla de suspensión con señal medible, persona autorizada, alternativa y condición para reiniciar.
5. 10 min: Responde a una novedad: falta la persona revisora y se duplica la demanda. ¿Continuar, reducir o suspender? Explica.

Pregunta de resistencia

No puedes elegir todas las medidas. ¿Cuál de las excluidas deja el mayor riesgo? ¿Podrías reducir el alcance para necesitar menos salvaguardas? Demorar o conservar el proceso manual puede ser una decisión defendible.

Informe acumulativo · 45 minutos

Añade defensas, alternativa descartada, responsable operativo y riesgo restante. Compara consecuencias para alguien con internet estable y alguien que depende de atención presencial, sin inferir idioma ni ingresos a partir de su identidad étnica.

Comprobación final

¿Qué hace independiente a una salvaguarda? ¿Por qué no basta con decir «hay supervisión humana»?