Gobernanza de IA
Qué exigen NIST AI RMF, ISO 42001 y el EU AI Act, y qué evidencia técnica lo cubre.
Si en Citas añades un asistente que resume la ficha del paciente o un modelo que prioriza las urgencias, acabas de meter IA en un sistema que maneja datos de salud y toma decisiones sobre personas. Eso ya no es solo un problema de calidad del modelo: es un problema de gobernanza, con marcos y reguladores que preguntan «¿cómo garantizas que esto es seguro, justo y supervisado?». La buena noticia para ti como ingeniero: igual que con el cumplimiento clásico, la respuesta se traduce a controles técnicos que producen evidencia. Esta nota recorre los tres marcos clave y cómo se aterrizan.
Tres marcos, tres papeles#
El NIST AI Risk Management Framework (AI 100-1, de enero de 2023) es voluntario y práctico, el primo del NIST CSF para IA. Organiza la gestión del riesgo de IA en cuatro funciones:
- Govern: cultura, roles, políticas de IA (atraviesa a las otras tres).
- Map: entender el contexto y catalogar los riesgos del sistema.
- Measure: evaluar y medir esos riesgos (sesgo, robustez, seguridad).
- Manage: priorizar y tratar los riesgos, con respuesta y monitorización.
No te obliga a nada; te da un método ordenado para no olvidarte de nada.
ISO/IEC 42001:2023 (publicada en diciembre de 2023) es la primera norma certificable para un Sistema de Gestión de IA (AIMS). Es a la IA lo que ISO 27001ISO/IEC 27001Norma internacional certificable para un Sistema de Gestión de Seguridad de la Información (SGSI); versión vigente 27001:2022. es a la seguridad de la información: no te dice qué modelo usar, sino que exige un proceso de gestión (política de IA, evaluación de impacto, gestión del ciclo de vida, roles, mejora continua) que un auditor puede certificar.
Encaja de forma natural sobre un SGSI 27001 ya existente: reutiliza su estructura de gestión y añade lo específico de IA.
El EU AI ActEU AI ActReglamento de la Unión Europea que regula la IA con un enfoque basado en el riesgo y obligaciones crecientes por nivel. (Reglamento (UE) 2024/1689) es ley, no una guía. Adopta un enfoque basado en el riesgo: cuanto más riesgo para la salud, la seguridad o los derechos fundamentales, más obligaciones. Y tiene fuerza extraterritorial: si tu sistema afecta a personas en la UE, te aplica, estés donde estés.
Es el que cambia el cálculo, porque trae sanciones. Por eso le dedicamos el resto de la nota.
El EU AI Act por niveles#
El reglamento clasifica cada sistema de IA en un nivel, y el nivel decide qué te exige. Más riesgo, más obligaciones apiladas.
Paso 1 de 5Niveles de riesgo
El EU AI Act regula por riesgo: prohibido (inaceptable), alto riesgo, riesgo limitado (transparencia) y mínimo. Cuanto más arriba, más obligaciones.
- Riesgo inaceptable (prohibido): prácticas vetadas, como el social scoring gubernamental, la manipulación dañina o cierta biometría masiva. No se mitigan: no se pueden usar.
- Alto riesgo: sistemas en ámbitos sensibles (sanidad, empleo, educación, infraestructuras críticas, biometría). Es el nivel con más obligaciones: gestión de riesgos, gobernanza de datos (calidad, sesgo), documentación técnica, registro de eventos (logging), transparencia, supervisión humana y robustez/ciberseguridad, más una evaluación de conformidad.
- Riesgo limitado: sobre todo obligaciones de transparencia: avisar de que se interactúa con una IA, o etiquetar contenido generado (deepfakes).
- Riesgo mínimo: la gran mayoría de aplicaciones, sin obligaciones nuevas.
Hay además un régimen específico para la IA de propósito general (GPAI), con obligaciones reforzadas para los modelos con riesgo sistémico.
De la obligación a la evidencia técnica#
Aquí es donde tu trabajo se vuelve concreto. Cada obligación «de papel» se cubre con un control que deja rastro. Si has leído marcos de cumplimiento, el patrón te sonará: requisito → control → evidencia.
| Obligación (alto riesgo) | Control técnico | Evidencia |
|---|---|---|
| Gestión de riesgos | Evaluación de impacto, red-teaming del modelo, registro de riesgos | Informe de evaluación, hallazgos del red-team |
| Gobernanza de datos | Linaje de datos, pruebas de sesgo y calidad | Fichas de dataset, métricas de sesgo |
| Registro de eventos (logging) | Trazas de entradas/salidas, prompts y decisiones del modelo | Logs inmutables en log-archive, CloudTrail |
| Transparencia | Avisos de uso de IA, model cards, etiquetado de contenido | Documentación publicada, banners en la UI |
| Supervisión humana | Human-in-the-loop: aprobación humana antes de actuar | Registros de aprobación/override |
| Robustez y ciberseguridad | Guardrails de entrada/salida, límites de herramientas, sandbox | Resultados de pruebas, bloqueos registrados |
El puente con los agentes#
Si tu IA es agéntica —llama herramientas, lee datos, actúa— la gobernanza y los controles técnicos de agentes se solapan casi del todo. Lo que el EU AI Act llama «supervisión humana», «logging» y «robustez» son, en la práctica, los mismos controles que montas para contener un agente: identidad propia para el agente, autorización por herramienta, guardrails contra la inyección de prompt y registro de cada acción. Los detalles de esos controles (guardrails, autorización con políticas, sandbox) viven en seguridad de IA y agentes; aquí basta con ver que la evidencia que produces para contener al agente es la misma que presentas para cumplir.
Trampas habituales#
Tu turno
Clasifica y aterriza un sistema de IA
Piensa en un sistema de IA real o plausible de tu entorno (un asistente, un clasificador, un agente).
- ¿En qué nivel del EU AI Act cae y por qué? ¿A quién afecta su decisión?
- Toma dos obligaciones del nivel que te salga y, para cada una, escribe el control técnico que la cubriría y la evidencia concreta que generaría.
- ¿Cuál de esas evidencias podrías producir hoy de forma automática, y cuál no existe todavía?
Reto
¿En qué se parecen y se diferencian NIST AI RMF, ISO 42001 y el EU AI Act?
▸Mostrar solución
Los tres buscan IA responsable, pero juegan papeles distintos. El NIST AI RMF es un método voluntario para pensar el riesgo (Govern/Map/Measure/Manage). ISO/IEC 42001 es certificable: un sello de que tienes un sistema de gestión de IA que funciona. El EU AI Act es ley con sanciones y obligaciones por nivel de riesgo. Usas el RMF para organizarte, 42001 para demostrar madurez a clientes, y cumples el AI Act porque no te queda otra.
En resumen#
- La gobernanza de IA se traduce, como el cumplimiento clásico, a controles técnicos que producen evidencia.
- NIST AI RMF (voluntario, Govern/Map/Measure/Manage), ISO/IEC 42001 (AIMS certificable) y el EU AI Act (ley, basada en riesgo) son los tres marcos clave.
- El EU AI Act clasifica por nivel —inaceptable, alto, limitado, mínimo— y el alto riesgo apila la mayoría de obligaciones; aplica por fases hasta 2027–2028.
- Las obligaciones de alto riesgo (logging, supervisión humana, robustez) coinciden con los controles de agentes de
/temas/ia-agentes. - Sin logs, aprobaciones ni pruebas registradas no hay evidencia: solo buenas intenciones.