Série 1 de Segurança de Aplicações de IA: considerações de segurança ao adotar ferramentas de IA

À medida que as ferramentas de IA, como o Microsoft Copilot, se tornam cada vez mais centrais nas operações empresariais, a investigação e os testes no mundo real estão a revelar novas vulnerabilidades. Os atores de ameaças exploram rapidamente formas adicionais de abusar destas ferramentas, por exemplo, ao utilizá-las como parte da sua cadeia de ataque, tal como as técnicas com recurso a ferramentas nativas em ataques tradicionais. Embora esta tecnologia seja nova, a Microsoft está a integrá-la em processos conhecidos e comprovados, como a divulgação coordenada de vulnerabilidades, para assegurar que os riscos são identificados e mitigados em segurança. Estes casos fornecem lições valiosas às organizações, não porque as ferramentas tenham "falhado" no sentido convencional, mas porque revelam formas inesperadas como a IA pode ser utilizada indevidamente nas suas interações com dados e fluxos de trabalho humanos.

CVE-2025-32711 (2025)
EchoLeak, agora corrigido, era uma técnica de ataque de injeção entre pedidos em várias fases que, em determinadas condições, podia transferir de forma não autorizada dados limitados aos quais a vítima já tem acesso. Um e-mail cuidadosamente elaborado, concebido para parecer benigno, poderia "envenenar" silenciosamente o pedido que o Copilot vê, levando-o a divulgar dados internos limitados sem o conhecimento da vítima. A Microsoft lançou rapidamente atualizações para corrigir a falha CVE-2025-32711. A vulnerabilidade destacou um risco subtil, mas grave: a possibilidade de os sistemas de IA exporem involuntariamente dados do cliente de caráter confidencial através de manipulação indireta de pedidos.

Riscos de permissões excessivas
O Copilot herda as permissões dos respetivos utilizadores. Se alguém mantiver acesso a dados de um departamento anterior, o Copilot pode apresentar essas informações nos resultados gerados. Da mesma forma, os dados confidenciais disponíveis para um colaborador podem aparecer em resumos de IA, criando riscos de conformidade e privacidade. As organizações podem mitigar este risco com acesso de menor privilégio, controlos baseados em funções e políticas DLP no Microsoft Purview. Além disso, utilizar o modo Investigador do M365 Copilot pode ajudar a identificar proativamente fugas de permissões antes que se tornem um problema de segurança. O princípio fundamental é confiar à IA apenas dados a que considera aceitável que esta aceda, ou seja, informações cuja exposição seria aceitável. As organizações devem implementar uma avaliação do modelo de risco e um plano de mitigação para avaliar cuidadosamente com que dados o Copilot pode interagir em segurança, em vez de o colocar no centro de fluxos de trabalho altamente confidenciais.

Utilização indevida por utilizadores internos e erros operacionais
Nem todos os incidentes têm origem em ameaças externas. Em alguns casos, os utilizadores internos podem utilizar ferramentas como o copilot para gerar relatórios que contêm dados confidenciais sem os reverem minuciosamente. A mitigação inclui formação, monitorização, deteção de anomalias e políticas de governação para manter a IA como um assistente de confiança, em vez de uma ferramenta sem controlo.

Envenenamento indireto de dados e manipulação de pedidos
Os sistemas de IA são vulneráveis de muitas formas, incluindo através de técnicas subtis, mas poderosas, como o envenenamento indireto de dados e a manipulação de pedidos, que podem moldar discretamente o comportamento de um modelo sem sinais de aviso evidentes. Estes métodos envolvem a criação de entradas que direcionam os resultados de forma arriscada, como expor informações confidenciais ou introduzir enviesamento. Pedidos ocultos, como texto codificado em hexadecimal ou formatação invisível, podem influenciar subtilmente os resumos do Copilot e, ocasionalmente, revelar informações desatualizadas ou inesperadas. Ao aplicar a ingestão controlada de conteúdos, validar metadados e manter uma supervisão ponderada das interações de IA, as organizações podem manter as ferramentas de IA fiáveis e garantir que continuam a acrescentar valor sem introduzir riscos involuntários.

Os exemplos acima mostram que a segurança de IA está frequentemente relacionada com o comportamento humano, o processamento de dados e a interpretação, não apenas com falhas de software. Com salvaguardas adequadas, as organizações podem tirar partido das ferramentas Copilot de forma eficaz e, ao mesmo tempo, minimizar a exposição involuntária. Saber mais em Proteger a IA para uma Base Sólida - Formação | Microsoft Learn.