Saltar al contenido

Seguridad de IA y agentes

Cómo está hecho un sistema de IA (gateway, orquestación, RAG, modelo, herramientas) y dónde se rompe: inyección de prompt directa e indirecta, fuga del system prompt, abuso de herramientas y exfiltración; los marcos OWASP (LLM, Agentic, MCP) y MITRE ATLAS para ordenarlo. Privacidad del modelo: extracción de datos de entrenamiento, inferencia de pertenencia, inversión y extracción de modelo. Reconocimiento de la infraestructura de IA: qué servicios expone una red y cómo se identifican. Y los controles en AWS AgentCore: identidad, autorización con Cedar, Guardrails, sandbox y red teaming.

● 30 notas

Fundamentos

Anatomía de un sistema de IADe qué está hecha una aplicación con LLM (gateway, orquestación, prompt, memoria, RAG, modelo, herramientas, salida y registro), siguiendo una petición de punta a punta y marcando las fronteras de confianza que cruza.

Amenazas

OWASP Top 10 for LLM ApplicationsRecorrido por las diez categorías de riesgo del OWASP Top 10 for LLM Applications (2025), con un ejemplo y una mitigación por categoría sobre un asistente tipo el de Citas.Inyección de prompt (directa e indirecta)El riesgo nº1 de los LLM. Por qué el modelo no distingue datos de instrucciones, cómo la inyección directa e indirecta secuestran un agente con herramientas, y la defensa en profundidad que lo contiene.Fuga del system prompt (LLM07)Por qué el system prompt siempre acaba filtrándose, qué lo convierte en vulnerabilidad (secretos y reglas de autorización dentro), y cómo diseñar para que extraerlo no importe. LLM07:2025.Desbordamiento de contexto (context overflow)Cómo un atacante llena la ventana de contexto para expulsar el system prompt, o para disparar el consumo de tokens (LLM10:2025 Unbounded Consumption), y cómo presupuestar el contexto para que las reglas nunca salgan.Envenenamiento de memoria (memory poisoning)Cómo un atacante planta información falsa o instrucciones en el historial o la memoria persistente de un LLM o agente para controlar sus respuestas y acciones en el futuro, y cómo proteger la escritura y la lectura de la memoria.Explotación de la confianza (LLM09 Misinformation)Por qué la seguridad de un LLM incluye la confianza de quien lo usa: alucinaciones convertidas en ataque (slopsquatting de paquetes), casos reales de exceso de confianza y cómo diseñar procesos que verifiquen en lugar de creer.Ingeniería social potenciada por LLMCómo los LLM hacen más convincentes el phishing y el spear phishing (sin faltas, con contexto y tono reales), cómo se combinan con filtraciones y OSINT, y por qué la defensa pasa del «detecta el fallo» a la verificación por proceso.Amenazas de agentes, MCP y MITRE ATLASLas amenazas propias de los agentes que planifican, recuerdan y actúan: OWASP Top 10 for Agentic Applications (ASI01–ASI10), el OWASP MCP Top 10 y MITRE ATLAS, el ATT&CK de la IA.Modelado de amenazas para sistemas de IAQué activos nuevos aparecen en un sistema de IA, cómo se rompe su cadena de suministro de datos, dónde se queda corto STRIDE y cómo combinar STRIDE, MITRE ATLAS y OWASP LLM Top 10 como tres capas de un mismo análisis.

Jailbreaks

Qué es un jailbreak (y qué no es)Un jailbreak ataca el entrenamiento de seguridad del propio modelo, no a la aplicación que lo rodea. Por qué la «jaula» es una probabilidad aprendida y no una regla, y cómo leer las cifras de éxito sin engañarse.Técnicas clásicas de jailbreakJuego de rol, persuasión emocional, ofuscación y encadenado de tareas. Por qué cada técnica funciona, qué dicen los datos y qué defensa le corresponde.Jailbreak multi-turno y condicionamientoPor qué los ataques que se reparten en una conversación evitan las defensas que miran cada mensaje por separado, qué patrones usan (Crescendo, contexto, retroceso) y cómo se defienden los sistemas actuales.DAN y el estado actual: ¿está arreglado?De DAN en Reddit (2022) a las fichas de sistema de Claude Opus 5.5 y GPT-6 (2026). Qué cambió, qué defensas funcionan, qué sigue abierto y cómo se mide hoy la gravedad de un jailbreak.

Defensa de prompts

Defensa de prompts: no hay bala de plataPor qué la inyección de prompt y los jailbreaks no se pueden cerrar del todo dentro de la arquitectura actual, qué dice la evidencia sobre ataques adaptativos y cómo se apilan las capas que sí reducen el riesgo.Endurecer el system promptLos tres patrones que suben el listón (alcance, rechazo explícito, restricción de personajes), lo que nunca debe ir en un system prompt y cómo separar instrucciones de entrada con roles y delimitadores, con sus límites.Guardrails de entrada y salidaPor qué las listas de bloqueo fallan, qué aportan los clasificadores y los modelos juez, cómo se evaden también y por qué la inyección indirecta rodea la guardia de entrada. Con la cascada de latencia frente a precisión.Despliegue seguro y salida del modeloQué puede hacer un modelo cuando una inyección llega a pasar. Mínimo privilegio, la trifecta letal con casos reales (Slack AI, EchoLeak, Cursor), manejo inseguro de la salida (LLM05) y diseños que dan garantías.

Privacidad

Extracción de datos de entrenamientoCómo un modelo memoriza fragmentos de su corpus y cómo un atacante con solo acceso de consulta los recupera, siguiendo el ataque de Carlini et al. (USENIX Security 2021), y qué hacer al entrenar y al desplegar.Inferencia de pertenencia (membership inference)Cómo un atacante deduce si un registro concreto estaba en el entrenamiento de un modelo, por qué aun así es una fuga de privacidad, y qué cambia en los LLM frente a los clasificadores clásicos.Inversión de modelo y su diferencia con membership inferenceCómo un atacante reconstruye datos de entrenamiento (un rostro, un perfil, un texto) optimizando una entrada contra el modelo, y una tabla para no confundirla con inferencia de pertenencia, extracción de datos ni extracción de modelo.Extracción de modelo (model stealing y destilación)Cómo se copia un modelo propietario solo con su API: el atacante consulta, etiqueta sus datos con las respuestas y entrena un sustituto. Qué relación tiene con la destilación y cómo encarecer el ataque.

Reconocimiento

Mapa de la infraestructura de IAQué componentes tiene un despliegue de IA (servidores de modelos, MLOps, bases vectoriales, registros, notebooks), en qué puertos escuchan y por qué un escaneo clásico no los reconoce.Huella y enumeración de APIs de IACómo identificar qué framework de IA hay detrás de un puerto (cabeceras, forma del JSON, errores, endpoints, gRPC/TLS) y qué revela cada API sin autenticación: modelos, esquemas vectoriales, experimentos, métricas y notebooks.Configuraciones inseguras, suministro y ATLASQué configuraciones por defecto de plataformas de ML convierten un despliegue en objetivo de reconocimiento, por qué el registro de modelos y la cadena de suministro son críticos, y cómo mapear todo a MITRE ATLAS.Cadena de pivotes y defensa del reconocimientoCómo un notebook abierto lleva a MLflow, al registro y al bucket de modelos, y qué controles (inventario, autenticación, segmentación, secretos, detección) cortan la cadena.Auditoría de exposición y detecciónMétodo de cinco fases para revisar tu propia exposición de IA (pasivo, activo, huella, metadatos, suministro), qué huella dejan esas actividades en los logs y las ocho correcciones de mayor impacto.

Controles

Identidad y autorización de agentesPor qué un agente necesita identidad propia y por qué la autorización de sus herramientas debe vivir fuera de su código, con AgentCore Identity y políticas Cedar.Guardrails y sandbox para agentesDefensa en profundidad para agentes de IA en AWS; cada control mapeado a la capa que protege, de los filtros de contenido a la aprobación humana y la trazabilidad.Red teaming de LLMs y agentesProbar tus propios agentes de forma sistemática con promptfoo, garak y PyRIT, y mapear cada hallazgo a OWASP Agentic Top 10 para producir un agente endurecido y un informe.
ESC
↑↓ para navegar↵ para abriresc para cerrar