Los modelos de IA tienen un problema: se llama 'data poisoning' y los está envenenando desde dentro
Un informe reciente señala que los modelos de inteligencia artificial pueden verse afectados por una técnica conocida como data poisoning, que consiste en introducir datos manipulados en los conjuntos usados para entrenar los sistemas. Según el estudio, no es necesario reunir grandes volúmenes de material malicioso para comprometer un modelo de gran escala. Se demostró que con unos 250 documentos envenenados se puede afectar la fiabilidad de modelos de hasta 13.000 millones de parámetros. El resultado es que el modelo puede presentar sesgos o derivar conclusiones erróneas.
El fenómeno de data poisoning se suma a otras vulnerabilidades en IA. La inyección de prompts es una de las amenazas que más preocupa a navegadores y a herramientas basadas en IA. Con un prompt oculto insertado en un correo o en una página web, la IA puede confundir las órdenes del usuario con instrucciones maliciosas y, en ciertos casos, entregar información privada. Este riesgo es particularmente alto para agentes de IA que actúan en nombre de las personas.
En el ámbito de la ciberseguridad, la IA ya aparece como herramienta para fines maliciosos. Un informe de CrowdStrike señala que la IA se ha convertido en una opción para automatizar y perfeccionar ataques, especialmente el ransomware. Un análisis del MIT de más de 2.800 incidentes mostró que el 80% incorporó IA en alguna fase de la operación.
Frente a estos escenarios, empresas de IA de alta exposición —entre ellas DeepMind, OpenAI, Microsoft y Anthropic— indicaron que trabajan de forma coordinada para estudiar los métodos de ataque más habituales y diseñar defensas. La colaboración contempla la participación de especialistas en seguridad y hackers éticos que buscan vulnerabilidades para fortalecer los sistemas.
La advertencia es clara: aunque ya existen navegadores y agentes basados en IA, la adopción masiva aún no es generalizada. Se subraya la necesidad de fortalecer los sistemas para evitar que la inyección de prompts comprometa datos y operaciones.
Este análisis se origina en un resumen de Xataka sobre el artículo de Amparo Babiloni, publicado originalmente en ese medio. La nota examina estas vulnerabilidades y las respuestas de la industria para mitigarlas.
Fuente: xataka.com | Leer la nota completa
