Série sobre segurança de aplicativos de IA 1: considerações de segurança ao adotar ferramentas de IA

À medida que ferramentas como o Microsoft Copilot ganham espaço nas operações empresariais, pesquisas e testes em situações reais revelam novas vulnerabilidades. Agentes de ameaças buscam rapidamente novas formas de explorar essas ferramentas, inclusive incorporando-as à cadeia de ataque de modo semelhante às técnicas de uso de recursos nativos do sistema, conhecida como "living off the land", em ataques tradicionais. Embora essa tecnologia seja nova, a Microsoft está integrando-a a processos conhecidos e comprovados, como a divulgação coordenada de vulnerabilidades, para identificar e reduzir riscos com segurança. Esses casos trazem aprendizados importantes para as organizações, não porque as ferramentas tenham "falhado" no sentido convencional, mas porque relevam formas inesperadas de usar a IA indevidamente em suas interações com dados e fluxos de trabalho humanos.

CVE-2025-32711 (2025)
O EchoLeak, que já foi corrigido, era uma técnica de ataque em várias etapas que usava injeção entre prompts para exfiltrar, em determinadas condições, uma quantidade limitada de dados aos quais a vítima já tinha acesso. Um email cuidadosamente elaborado para parecer inofensivo podia "contaminar" silenciosamente o prompt recebido pelo Copilot, fazendo com que ele vazasse uma quantidade limitada de dados internos sem o conhecimento da vítima. A Microsoft disponibilizou rapidamente atualizações para corrigir a falha CVE-2025-32711. A vulnerabilidade destacou um risco sutil, mas grave: a possibilidade de sistemas de IA exporem involuntariamente dados confidenciais de clientes por meio da manipulação indireta de prompts.

Riscos causados por permissões excessivas
O Copilot herda as permissões de seus usuários. Se alguém mantiver acesso aos dados de um departamento anterior, o Copilot poderá trazer essas informações nos resultados gerados. Da mesma forma, dados confidenciais disponíveis para um funcionário podem aparecer em resumos gerados pela IA, criando riscos de conformidade e privacidade. As organizações podem mitigar esse risco com acesso de privilégio mínimo, controles baseados em função e políticas de DLP no Microsoft Purview. Além disso, usar o modo Pesquisador do M365 Copilot pode ajudar a identificar proativamente falhas de permissões antes que elas se transformem em um problema de segurança. O princípio fundamental é confiar à IA apenas os dados com os quais você se sentiria confortável em permitir o acesso, ou seja, informações cuja possível exposição você possa tolerar. As organizações devem implementar uma avaliação do modelo de risco e um plano de mitigação para analisar cuidadosamente com quais dados o Copilot pode interagir com segurança, em vez de colocá-lo no centro de fluxos de trabalho altamente confidenciais.

Uso indevido por pessoas com acesso interno e erros operacionais
Nem todos os incidentes são causados por ameaças externas. Em alguns casos, usuários internos podem usar ferramentas como o Copilot para gerar relatórios que contêm dados confidenciais sem revisá-los com a devida atenção. As medidas de mitigação incluem treinamento, monitoramento, detecção de anomalias e políticas de governança para manter a IA como uma assistente confiável, e não como uma ferramenta sem supervisão.

Envenenamento indireto de dados e manipulação de prompts
Os sistemas de IA são vulneráveis de várias formas, inclusive a técnicas sutis, mas poderosas, como o envenenamento indireto de dados e a manipulação de prompts, que podem alterar silenciosamente o comportamento de um modelo sem sinais claros de alerta. Esses métodos envolvem criar entradas que direcionam os resultados de maneiras arriscadas, como a exposição de informações confidenciais ou a introdução de vieses. Prompts ocultos, como textos em código hexadecimal ou formatações invisíveis, podem influenciar sutilmente os resumos do Copilot e, às vezes, fazer com que ele apresente informações desatualizadas ou inesperadas. Ao controlar a ingestão de conteúdo, validar metadados e supervisionar criteriosamente as interações com a IA, as organizações podem preservar a confiabilidade das ferramentas de IA e garantir que elas continuem agregando valor sem introduzir riscos indesejados.

Os exemplos acima mostram que a segurança de IA geralmente envolve comportamento humano, tratamento de dados e interpretação, e não apenas falhas de software. Com as proteções adequadas, as organizações podem aproveitar as ferramentas do Copilot com eficiência e reduzir o risco de exposição acidental de informações. Saiba mais no treinamento IA segura para uma base sólida – Treinamento do | Microsoft Learn.