Saltar al contenido

#llm16 notas

Anatomía de un sistema de IADe qué está hecha una aplicación con LLM (gateway, orquestación, prompt, memoria, RAG, modelo, herramientas, salida y registro), siguiendo una petición de punta a punta y marcando las fronteras de confianza que cruza.OWASP Top 10 for LLM ApplicationsRecorrido por las diez categorías de riesgo del OWASP Top 10 for LLM Applications (2025), con un ejemplo y una mitigación por categoría sobre un asistente tipo el de Citas.Inyección de prompt (directa e indirecta)El riesgo nº1 de los LLM. Por qué el modelo no distingue datos de instrucciones, cómo la inyección directa e indirecta secuestran un agente con herramientas, y la defensa en profundidad que lo contiene.Fuga del system prompt (LLM07)Por qué el system prompt siempre acaba filtrándose, qué lo convierte en vulnerabilidad (secretos y reglas de autorización dentro), y cómo diseñar para que extraerlo no importe. LLM07:2025.Desbordamiento de contexto (context overflow)Cómo un atacante llena la ventana de contexto para expulsar el system prompt, o para disparar el consumo de tokens (LLM10:2025 Unbounded Consumption), y cómo presupuestar el contexto para que las reglas nunca salgan.Ingeniería social potenciada por LLMCómo los LLM hacen más convincentes el phishing y el spear phishing (sin faltas, con contexto y tono reales), cómo se combinan con filtraciones y OSINT, y por qué la defensa pasa del «detecta el fallo» a la verificación por proceso.Qué es un jailbreak (y qué no es)Un jailbreak ataca el entrenamiento de seguridad del propio modelo, no a la aplicación que lo rodea. Por qué la «jaula» es una probabilidad aprendida y no una regla, y cómo leer las cifras de éxito sin engañarse.Técnicas clásicas de jailbreakJuego de rol, persuasión emocional, ofuscación y encadenado de tareas. Por qué cada técnica funciona, qué dicen los datos y qué defensa le corresponde.Jailbreak multi-turno y condicionamientoPor qué los ataques que se reparten en una conversación evitan las defensas que miran cada mensaje por separado, qué patrones usan (Crescendo, contexto, retroceso) y cómo se defienden los sistemas actuales.DAN y el estado actual: ¿está arreglado?De DAN en Reddit (2022) a las fichas de sistema de Claude Opus 5.5 y GPT-6 (2026). Qué cambió, qué defensas funcionan, qué sigue abierto y cómo se mide hoy la gravedad de un jailbreak.Defensa de prompts: no hay bala de plataPor qué la inyección de prompt y los jailbreaks no se pueden cerrar del todo dentro de la arquitectura actual, qué dice la evidencia sobre ataques adaptativos y cómo se apilan las capas que sí reducen el riesgo.Endurecer el system promptLos tres patrones que suben el listón (alcance, rechazo explícito, restricción de personajes), lo que nunca debe ir en un system prompt y cómo separar instrucciones de entrada con roles y delimitadores, con sus límites.Guardrails de entrada y salidaPor qué las listas de bloqueo fallan, qué aportan los clasificadores y los modelos juez, cómo se evaden también y por qué la inyección indirecta rodea la guardia de entrada. Con la cascada de latencia frente a precisión.Extracción de datos de entrenamientoCómo un modelo memoriza fragmentos de su corpus y cómo un atacante con solo acceso de consulta los recupera, siguiendo el ataque de Carlini et al. (USENIX Security 2021), y qué hacer al entrenar y al desplegar.Inferencia de pertenencia (membership inference)Cómo un atacante deduce si un registro concreto estaba en el entrenamiento de un modelo, por qué aun así es una fuga de privacidad, y qué cambia en los LLM frente a los clasificadores clásicos.Extracción de modelo (model stealing y destilación)Cómo se copia un modelo propietario solo con su API: el atacante consulta, etiqueta sus datos con las respuestas y entrena un sustituto. Qué relación tiene con la destilación y cómo encarecer el ataque.
ESC
↑↓ para navegar↵ para abriresc para cerrar