Adopción acelerada de IA Agente generaría vulneraciones críticas en ciberseguridad

 

La generación aumentada por recuperación (RAG), una tecnología que permite a las empresas crear soluciones de IA personalizadas, presenta importantes riesgos de seguridad.

A pesar de los beneficios de la RAG, las empresas deben ser conscientes de estos desafíos para proteger sus datos y operaciones.

Así lo revela el estudio «El camino hacia la IA Agente: cimientos expuestos«, realizado por Trend Micro.

Ignacio Triana, director de estrategia de ciberseguridad para MCA en Trend Micro, considera que:

“Las organizaciones no pueden permitirse pasar por alto los principios de seguridad básicos en la implementación de sistemas generativos. El acceso sin restricciones a componentes críticos como almacenes vectoriales o plataformas de alojamiento de modelos representa una vulnerabilidad directa para la propiedad intelectual y los datos confidenciales”

 

Principios básicos de la RAG. 

La generación aumentada por recuperación combina dos elementos clave:

un almacén vectorial, que organiza los datos y facilita su búsqueda,

y un modelo de lenguaje que utiliza esa información para responder preguntas o generar contenido.

Aunque esta tecnología es eficiente y económica, el informe identificó más de 80 servidores de RAG expuestos a internet sin medidas básicas de protección, como contraseñas o cifrado.

Estos servidores, ubicados principalmente en Estados Unidos, China, Alemania y Francia, representan una ventana abierta para posibles ataques.

Entre los hallazgos del estudio, sobresale la falta de seguridad en herramientas ampliamente utilizadas, como llama.cpp y Ollama, que alojan modelos de lenguaje.

Estos sistemas permitían, en muchos casos, acceder, modificar o borrar datos almacenados, dejando vulnerables tanto la información empresarial como la operatividad de los sistemas.

 

Origen de las fallas.

El estudio señala problemas en los almacenes vectoriales, como ChromaDB y Weaviate, fundamentales para el funcionamiento de RAG.

Estos sistemas almacenan información clave para las decisiones automáticas, pero su exposición sin protección adecuada podría facilitar el robo o la manipulación de datos confidenciales.

El afán para la adopción de estas tecnologías, definida como un enfoque de «moverse rápido y romper cosas», ha llevado a muchos desarrolladores a priorizar la innovación sobre la seguridad.

Además de poner en riesgo los sistemas actuales, esta práctica también plantea desafíos de cara al futuro de la inteligencia artificial, donde los sistemas de IA Agente prometen ser aún más complejos e integrados.

Como escudo de protección, los expertos de Trend Micro recomiendan implementar medidas robustas de ciberseguridad, tales como la autenticación obligatoria en todos los accesos, el cifrado de las comunicaciones y la adopción de un modelo de seguridad de confianza cero (Zero Trust).