Serie 1 sobre seguridad de las aplicaciones de IA: Consideraciones de seguridad a la hora de adoptar herramientas de IA

A medida que las herramientas de IA, como Microsoft Copilot, cobran cada vez más importancia en las operaciones empresariales, las investigaciones y las pruebas en el mundo real están sacando a la luz nuevas vulnerabilidades. Los autores de amenazas no tardan en explorar nuevas formas de sacar partido a estas herramientas, como utilizarlas como parte de su cadena de ataque, por ejemplo, mediante la técnica "living-off-the-land" en los ataques tradicionales. Aunque se trata de una tecnología nueva, Microsoft la está integrando en procesos conocidos y contrastados, como la divulgación coordinada de vulnerabilidades, para garantizar que los riesgos se identifiquen y se mitiguen de forma segura. Estos casos ofrecen valiosas lecciones para las organizaciones, no porque las herramientas "fallaran" en el sentido convencional, sino porque revelan formas inesperadas en las que la IA puede utilizarse indebidamente en sus interacciones con los datos y los flujos de trabajo humanos.

CVE-2025-32711 (2025)
EchoLeak —ya solucionado— era una técnica para llevar a cabo un ataque de inyección de comandos cruzados en varias etapas que, en determinadas condiciones, permitía extraer datos limitados a los que la víctima ya tenía acceso. Un correo electrónico redactado cuidadosamente, diseñado para parecer inofensivo, podría "contaminar" silenciosamente la indicación que ve Copilot, provocando que este filtre datos internos restringidos sin que la víctima se dé cuenta. Microsoft publicó rápidamente unas actualizaciones para solucionar la vulnerabilidad CVE-2025-32711. La vulnerabilidad puso de manifiesto un riesgo sutil pero grave: la posibilidad de que los sistemas de IA revelen involuntariamente datos confidenciales de los clientes mediante la manipulación indirecta de las indicaciones.

Riesgos derivados de un exceso de permisos
Copilot hereda los permisos de sus usuarios. Si alguien sigue teniendo acceso a datos de un departamento anterior, Copilot puede mostrar esa información en los resultados generados. Del mismo modo, los datos confidenciales a los que tiene acceso un empleado podrían aparecer en los resúmenes generados por la IA, lo que supondría riesgos en materia de cumplimiento normativo y privacidad. Las organizaciones pueden mitigar este riesgo mediante el acceso con el mínimo privilegio, los controles basados en roles y las directivas de prevención de pérdida de datos (DLP) de Microsoft Purview. Además, el uso del modo Investigador de M365 Copilot puede ayudar a identificar de forma proactiva las filtraciones de permisos antes de que se conviertan en un problema de seguridad. El principio fundamental es confiar a la IA únicamente aquellos datos a los que no te importe que tenga acceso; en esencia, información que no te suponga ningún problema revelar. Las organizaciones deberían poner en marcha un plan de evaluación y mitigación de riesgos para analizar detenidamente con qué datos puede interactuar Copilot de forma segura, en lugar de situarlo en el centro de flujos de trabajo de carácter altamente confidencial.

Uso indebido interno y errores operativos
No todos los incidentes se deben a amenazas externas. En algunos casos, los usuarios internos pueden utilizar herramientas como Copilot para generar informes que contengan datos confidenciales sin revisarlos a fondo. Las medidas de mitigación incluyen formación, supervisión, detección de anomalías y directivas de gobernanza para garantizar que la IA siga siendo un asistente de confianza y no una herramienta sin control.

Contaminación indirecta de datos y manipulación de indicaciones
Los sistemas de IA son vulnerables de muchas formas, entre ellas a través de técnicas sutiles pero potentes como el envenenamiento indirecto de datos y la manipulación de las indicaciones, que pueden influir silenciosamente en el comportamiento de un modelo sin que haya señales de advertencia evidentes. Estos métodos consisten en crear entradas que manipulen los resultados de forma arriesgada, por ejemplo, para revelar información confidencial o introducir sesgos. Las indicaciones ocultas, como el texto codificado en hexadecimal o el formato invisible, pueden influir sutilmente en los resúmenes de Copilot, lo que en ocasiones da lugar a que aparezca información obsoleta o inesperada. Mediante la incorporación controlada de contenidos, la validación de los metadatos y una supervisión cuidadosa de las interacciones con la IA, las organizaciones pueden garantizar la fiabilidad de las herramientas de IA y asegurarse de que sigan aportando valor sin generar riesgos no deseados.

Los ejemplos anteriores muestran que la seguridad de la IA suele estar relacionada con el comportamiento humano, el tratamiento de los datos y su interpretación, y no solo con los fallos del software. Con las protecciones adecuadas, las organizaciones pueden aprovechar las herramientas de Copilot de forma eficaz y, al mismo tiempo, minimizar la exposición involuntaria. Más información en IA segura para una base sólida: formación | Microsoft Learn.