Saltar al contenido

#ia8 notas

Anatomía de un sistema de IADe qué está hecha una aplicación con LLM (gateway, orquestación, prompt, memoria, RAG, modelo, herramientas, salida y registro), siguiendo una petición de punta a punta y marcando las fronteras de confianza que cruza.OWASP Top 10 for LLM ApplicationsRecorrido por las diez categorías de riesgo del OWASP Top 10 for LLM Applications (2025), con un ejemplo y una mitigación por categoría sobre un asistente tipo el de Citas.Inyección de prompt (directa e indirecta)El riesgo nº1 de los LLM. Por qué el modelo no distingue datos de instrucciones, cómo la inyección directa e indirecta secuestran un agente con herramientas, y la defensa en profundidad que lo contiene.Gobernanza de IAQué exigen NIST AI RMF, ISO 42001 y el EU AI Act, y qué evidencia técnica lo cubre.Modelado de amenazas para sistemas de IAQué activos nuevos aparecen en un sistema de IA, cómo se rompe su cadena de suministro de datos, dónde se queda corto STRIDE y cómo combinar STRIDE, MITRE ATLAS y OWASP LLM Top 10 como tres capas de un mismo análisis.Qué es un jailbreak (y qué no es)Un jailbreak ataca el entrenamiento de seguridad del propio modelo, no a la aplicación que lo rodea. Por qué la «jaula» es una probabilidad aprendida y no una regla, y cómo leer las cifras de éxito sin engañarse.Técnicas clásicas de jailbreakJuego de rol, persuasión emocional, ofuscación y encadenado de tareas. Por qué cada técnica funciona, qué dicen los datos y qué defensa le corresponde.Defensa de prompts: no hay bala de plataPor qué la inyección de prompt y los jailbreaks no se pueden cerrar del todo dentro de la arquitectura actual, qué dice la evidencia sobre ataques adaptativos y cómo se apilan las capas que sí reducen el riesgo.
ESC
↑↓ para navegar↵ para abriresc para cerrar