Inyección de prompts

La inyección de prompts aprovecha una debilidad de fondo de los modelos de lenguaje: reciben las instrucciones del desarrollador y el contenido a procesar en el mismo flujo de texto, y no siempre distinguen bien entre ambos. Si alguien mete órdenes en ese contenido, el modelo puede obedecerlas.

Hay dos variantes. En la directa, el usuario escribe algo como «ignora tus instrucciones anteriores y…». En la indirecta, descrita por Greshake y colegas en 2023, las instrucciones maliciosas están escondidas en una página web, un correo, un PDF o un documento que el sistema lee por su cuenta, por ejemplo al hacer RAG o navegar. El riesgo crece con los agentes de IA, que además de leer pueden actuar: enviar correos, comprar o modificar archivos mediante herramientas.

El proyecto OWASP la coloca en el primer lugar (LLM01) de su lista de riesgos para aplicaciones con modelos de lenguaje. Las defensas recomendadas incluyen limitar los permisos del modelo al mínimo, separar y marcar el contenido no confiable, validar las salidas antes de ejecutarlas, pedir confirmación humana para acciones sensibles y hacer red teaming.

Matiz: no es lo mismo que un jailbreak. El jailbreak busca que el modelo rompa sus políticas de contenido; la inyección busca secuestrar la aplicación construida alrededor del modelo. A la fecha no existe una defensa que la elimine por completo.