Saltar al contenido

#agentes9 notas

Anatomía de un sistema de IADe qué está hecha una aplicación con LLM (gateway, orquestación, prompt, memoria, RAG, modelo, herramientas, salida y registro), siguiendo una petición de punta a punta y marcando las fronteras de confianza que cruza.Inyección de prompt (directa e indirecta)El riesgo nº1 de los LLM. Por qué el modelo no distingue datos de instrucciones, cómo la inyección directa e indirecta secuestran un agente con herramientas, y la defensa en profundidad que lo contiene.Gobernanza de IAQué exigen NIST AI RMF, ISO 42001 y el EU AI Act, y qué evidencia técnica lo cubre.Envenenamiento de memoria (memory poisoning)Cómo un atacante planta información falsa o instrucciones en el historial o la memoria persistente de un LLM o agente para controlar sus respuestas y acciones en el futuro, y cómo proteger la escritura y la lectura de la memoria.Amenazas de agentes, MCP y MITRE ATLASLas amenazas propias de los agentes que planifican, recuerdan y actúan: OWASP Top 10 for Agentic Applications (ASI01–ASI10), el OWASP MCP Top 10 y MITRE ATLAS, el ATT&CK de la IA.Despliegue seguro y salida del modeloQué puede hacer un modelo cuando una inyección llega a pasar. Mínimo privilegio, la trifecta letal con casos reales (Slack AI, EchoLeak, Cursor), manejo inseguro de la salida (LLM05) y diseños que dan garantías.Identidad y autorización de agentesPor qué un agente necesita identidad propia y por qué la autorización de sus herramientas debe vivir fuera de su código, con AgentCore Identity y políticas Cedar.Guardrails y sandbox para agentesDefensa en profundidad para agentes de IA en AWS; cada control mapeado a la capa que protege, de los filtros de contenido a la aprobación humana y la trazabilidad.Red teaming de LLMs y agentesProbar tus propios agentes de forma sistemática con promptfoo, garak y PyRIT, y mapear cada hallazgo a OWASP Agentic Top 10 para producir un agente endurecido y un informe.
ESC
↑↓ para navegar↵ para abriresc para cerrar