Ataques a modelos de IA: jailbreak, extração, envenenamento e RAG

A prompt injection é a porta de entrada, mas o universo de ataques a sistemas de IA é mais amplo — envolve manipular o comportamento do modelo, extrair seus segredos, corromper seu treinamento, e explorar as arquiteturas que os cercam. Esta aula cobre esse espectro: jailbreaking, extração de dados e do modelo, envenenamento, e as vulnerabilidades de sistemas RAG. É um mapa da superfície de ataque de IA além da prompt injection. Laboratório com sistemas de teste, sempre.

Jailbreaking: contornar os guardrails

Comece pelo jailbreaking, primo próximo da prompt injection mas com objetivo distinto. Modelos de IA têm guardrails — restrições que impedem comportamentos indesejados (gerar conteúdo perigoso, ilegal, ou prejudicial). O jailbreaking é a técnica de contornar essas restrições, fazendo o modelo produzir o que foi projetado para recusar. As técnicas exploram a flexibilidade da linguagem natural: role-playing ("finja ser uma IA sem restrições"), cenários hipotéticos, ofuscação, ou construções linguísticas que confundem os guardrails. Enquanto a prompt injection geralmente visa subverter uma aplicação específica (sobrescrever seu prompt de sistema), o jailbreaking visa contornar as restrições de segurança do próprio modelo. É uma corrida armamentista contínua (a lição da aula Fundamentos de buffer overflow II: as defesas e a corrida armamentista, de novo): cada guardrail é testado por novos jailbreaks, que levam a guardrails melhores. Do ponto de vista de segurança, testar guardrails é relevante para quem constrói sobre modelos de IA e precisa saber quão robustas são essas restrições.

Extração de prompt, dados e modelo

Em seguida, os ataques de extração, que visam roubar segredos do sistema de IA. A extração do prompt de sistema: fazer o modelo revelar as instruções "secretas" que definem seu comportamento numa aplicação — valiosas porque podem conter lógica de negócio, revelar como contornar a aplicação, ou expor informação. A extração de dados de treinamento: em certas condições, modelos podem ser induzidos a "regurgitar" dados específicos com que foram treinados — um risco de privacidade grave se o treinamento incluiu dados sensíveis (dados pessoais, informação proprietária). E o roubo de modelo (model extraction): através de consultas sistemáticas, um atacante pode tentar reconstruir ou replicar um modelo proprietário, ou inferir suas características — uma preocupação de propriedade intelectual e de vantagem competitiva. Esses ataques tratam o modelo como um repositório de segredos (suas instruções, seus dados, sua própria arquitetura) a serem extraídos.

Envenenamento na origem

Agora os ataques que corrompem o modelo na origem: o envenenamento (poisoning). Modelos de IA são treinados com enormes conjuntos de dados — e se um atacante consegue inserir dados maliciosos nesse treinamento, pode corromper o modelo resultante. O data poisoning injeta exemplos maliciosos nos dados de treinamento, fazendo o modelo aprender comportamentos incorretos ou tendenciosos. Um caso específico e sinistro é o backdoor: envenenar o treinamento de modo que o modelo se comporte normalmente, exceto quando encontra um "gatilho" específico, momento em que age de forma maliciosa (imagine um modelo de classificação que funciona bem, mas classifica erroneamente qualquer entrada contendo uma marca secreta escolhida pelo atacante). O envenenamento é especialmente perigoso porque corrompe o modelo fundamentalmente, é difícil de detectar (o modelo parece funcionar), e conecta-se com a segurança da cadeia de suprimentos (Bloco XVII) — se você usa dados ou modelos de terceiros, herda o risco de envenenamento deles.

Vulnerabilidades de RAG

Por fim, as vulnerabilidades de RAG (Retrieval-Augmented Generation), uma arquitetura cada vez mais comum. O RAG melhora os LLMs dando-lhes acesso a uma base de conhecimento externa: quando você pergunta algo, o sistema recupera documentos relevantes de uma base e os fornece ao LLM como contexto para responder. É poderoso (respostas atualizadas e específicas), mas cria superfícies próprias. A injeção indireta via RAG: se um atacante consegue inserir conteúdo malicioso na base de conhecimento que o RAG consulta, esse conteúdo (com instruções ocultas) será recuperado e processado pelo LLM — prompt injection indireta (aula OWASP LLM Top 10 e prompt injection: atacando a inteligência artificial) pela via da base de conhecimento. E problemas de controle de acesso no RAG: se a base contém dados de diferentes níveis de sensibilidade e o RAG não respeita as permissões do usuário ao recuperar, ele pode vazar a um usuário dados que ele não deveria ver (o BOLA da aula OWASP API Security Top 10: BOLA, autenticação e a superfície invisível, aplicado à recuperação de conhecimento). O RAG amplia o poder dos LLMs e, com ele, a superfície de ataque.

Segurança de IA cobre todo o ciclo

O ponto conceitual: a segurança de IA abrange todo o ciclo de vida do sistema de IA — os dados de treinamento (envenenamento), o modelo em si (extração, roubo), o comportamento em uso (jailbreak, prompt injection), e a arquitetura ao redor (RAG, agentes, plugins). Cada estágio tem seus vetores. E muitos desses ataques reaplicam princípios que você já conhece a um novo domínio: o envenenamento é um ataque à cadeia de suprimentos e à integridade; a extração é um vazamento de dados; a injeção via RAG é a injeção clássica; o controle de acesso no RAG é autorização. A segurança de IA não é um campo alienígena — é a aplicação dos princípios fundamentais do curso (integridade, confidencialidade, autorização, cadeia de confiança, não confiar em entradas) a uma tecnologia com características novas. Isso é reconfortante e orientador: você já tem as lentes conceituais; precisa adaptá-las ao novo contexto.

Contramedidas ao longo do ciclo

Do lado defensivo, as contramedidas cobrem o ciclo de vida: contra jailbreak, guardrails robustos e testados continuamente (e defesa em profundidade, não confiando só neles); contra extração, minimizar segredos no prompt de sistema, não treinar com dados sensíveis sem proteção, e limitar/monitorar consultas sistemáticas; contra envenenamento, proteger a integridade dos dados de treinamento (fontes confiáveis, validação — a cadeia de suprimentos de IA), e verificar modelos de terceiros; contra vulnerabilidades de RAG, controlar o acesso à base de conhecimento e respeitar as permissões do usuário na recuperação, além de tratar o conteúdo recuperado como não confiável. Transversalmente, o MITRE ATLAS (o "ATT&CK para IA") cataloga essas técnicas para orientar defensores. A lição: a segurança de IA exige proteger cada estágio do ciclo de vida, aplicando princípios conhecidos a um domínio novo e em rápida evolução. A moeda ainda se vira: a IA como ferramenta do pentester — a IA ofensiva.

Fontes e leituras recomendadas

MITRE ATLAS (atlas.mitre.org) — matriz de ameaças adversariais a sistemas de IA
OWASP — riscos de LLM e de Machine Learning
Pesquisas sobre data poisoning, model extraction e RAG security
Laboratórios de jailbreak e prompt injection (Gandalf, HackAPrompt)

Exercícios

Qual a diferença de objetivo entre jailbreaking e prompt injection?

✓ Resposta:
O jailbreaking visa contornar as restrições de segurança do próprio modelo (fazê-lo produzir o que foi projetado para recusar). A prompt injection geralmente visa subverter uma aplicação específica construída sobre o modelo (sobrescrever seu prompt de sistema/comportamento pretendido). Um mira os guardrails do modelo; o outro, a lógica da aplicação.
Descreva dois tipos de ataque de extração contra sistemas de IA e o que cada um visa roubar.

✓ Resposta:
Extração do prompt de sistema (revelar as instruções secretas que definem o comportamento da aplicação) e extração de dados de treinamento (induzir o modelo a regurgitar dados sensíveis com que foi treinado). Também o roubo de modelo (reconstruir/replicar um modelo proprietário via consultas). Cada um visa, respectivamente, as instruções, os dados de treinamento e o próprio modelo.
O que é envenenamento (poisoning), o que é um backdoor nesse contexto, e por que são difíceis de detectar?

✓ Resposta:
Envenenamento é inserir dados maliciosos no treinamento para corromper o modelo resultante. Um backdoor é envenenar de modo que o modelo se comporte normalmente, exceto quando encontra um gatilho específico, quando age maliciosamente. São difíceis de detectar porque o modelo aparenta funcionar normalmente — o comportamento malicioso só se manifesta sob condições específicas (o gatilho) ou de formas sutis.
O que é RAG, e quais duas vulnerabilidades próprias ele introduz?

✓ Resposta:
RAG (Retrieval-Augmented Generation) dá ao LLM acesso a uma base de conhecimento externa, recuperando documentos relevantes como contexto para responder. Vulnerabilidades próprias: injeção indireta via RAG (conteúdo malicioso inserido na base é recuperado e processado como instrução) e falhas de controle de acesso (recuperar e vazar ao usuário dados que ele não deveria ver, se as permissões não são respeitadas).
Por que se diz que a segurança de IA "reaplica princípios que você já conhece"? Dê dois exemplos.

✓ Resposta:
Porque muitos ataques de IA são princípios conhecidos num novo domínio. Exemplos: o envenenamento é um ataque à integridade e à cadeia de suprimentos; a extração é um vazamento de confidencialidade; a injeção via RAG é a injeção clássica; o controle de acesso no RAG é autorização (BOLA). As mesmas lentes conceituais do curso se aplicam, adaptadas. (Dois quaisquer.)