When RAG Chatbots Expose Their Backend: An Anonymized Case Study of Privacy and Security Risks in Patient-Facing Medical AI

Chatbots de saúde expõem dados de pacientes: o alerta que ninguém queria ouvir

O uso de chatbots médicos equipados com inteligência artificial generativa está crescendo no Brasil e no mundo. Prometem informação de saúde acessível, rápida e embasada. Mas uma investigação recente, conduzida por especialistas em segurança digital, expôs uma realidade preocupante: essas ferramentas podem estar vazando conversas íntimas de pacientes sem qualquer tipo de proteção. E o pior: qualquer pessoa com um navegador comum consegue acessar esses dados.

O estudo, realizado de forma anônima e não destrutiva, analisou um chatbot médico real voltado para pacientes, baseado na arquitetura de RAG (geração aumentada por recuperação). O resultado foi um verdadeiro raio-X da insegurança digital na saúde.

O que é RAG e por que ele virou febre na saúde?

RAG, ou Retrieval-Augmented Generation, é uma técnica que permite ao chatbot buscar informações em uma base de conhecimento específica — como artigos médicos, bulas e protocolos — para responder perguntas com mais precisão. Ele não inventa respostas: ele “puxa” dados de fontes confiáveis. Isso fez com que hospitais, clínicas e planos de saúde corressem para adotar a tecnologia.

O problema é que, com ferramentas de IA acessíveis, qualquer equipe de desenvolvimento consegue montar um chatbot em dias. Mas nem todo mundo está preocupado com segurança, governança e privacidade desde o início do projeto.

A investigação: como o chatbot foi testado

A equipe de segurança usou uma estratégia em duas etapas. Primeiro, contou com a ajuda de um modelo de linguagem avançado (Claude Opus 4.6) para criar hipóteses de vulnerabilidades. Em vez de atacar o sistema, eles pediram que a própria IA sugerisse onde um desenvolvedor descuidado poderia deixar brechas.

Depois, partiram para a verificação manual. Usaram ferramentas comuns de desenvolvimento do navegador — as famosas “Ferramentas do Desenvolvedor” do Chrome — para inspecionar o tráfego de rede, os cabeçalhos das requisições e os dados armazenados localmente. Nada de invasão, nada de quebra de senha. Apenas um olhar atento sobre o que o próprio sistema exibia.

O que foi encontrado: um prato cheio para vazamento de dados

Os resultados foram alarmantes. Com poucos cliques, os pesquisadores conseguiram coletar:

• O prompt do sistema – as instruções ocultas que definem o comportamento do chatbot, incluindo regras de conduta e limites éticos.
• Configurações do modelo e de embedding – detalhes sobre qual inteligência artificial estava sendo usada e como os dados eram transformados em buscas.
• Parâmetros de recuperação – como o motor de busca filtrava e ordenava informações.
• Endpoints do backend – os endereços dos servidores que processam as requisições, potencialmente a porta de entrada para ataques maiores.
• Esquema completo da API – a receita de como se comunicar com o sistema.
• Metadados de documentos e chunks – informações sobre como a base de conhecimento estava organizada.
• Conteúdo da base de conhecimento – artigos, laudos e documentos médicos que alimentavam as respostas.
• As últimas 1.000 conversas de pacientes – sim, você leu certo. Todas as perguntas e respostas trocadas com usuários reais, sem necessidade de autenticação.

Isso significa que um concorrente, um hacker ou até mesmo um curioso poderia, por exemplo, descobrir quais doenças estão sendo mais perguntadas, ver reações a medicamentos e, em muitos casos, identificar pacientes por detalhes do histórico.

O contraste com as promessas de privacidade

O chatbot investigado, segundo seus próprios termos de uso, prometia proteger os dados dos usuários. Mas a prática mostrou o oposto: as gravações completas de conversas, incluindo perguntas sobre sintomas, diagnósticos e tratamentos, estavam disponíveis sem a menor barreira de segurança.

Isso levanta uma questão ética grave: quantas startups de saúde digital no Brasil estão seguindo o mesmo caminho, priorizando a velocidade de lançamento sobre a segurança dos pacientes?

Lições para quem desenvolve ou contrata chatbots de saúde

O estudo não aponta o dedo para uma empresa específica, mas oferece lições universais:

• Nunca confie no cliente: configurações sensíveis, prompts de sistema e logs de conversa jamais devem ficar acessíveis pelo navegador. Tudo precisa ser tratado e armazenado no servidor.
• Auditoria independente é obrigatória: antes de colocar um chatbot no ar, contrate especialistas para fazer um teste de penetração (pentest). O que a equipe de desenvolvimento não enxerga, um hacker vai enxergar.
• Controles de autenticação: mesmo que o chatbot seja público, o acesso ao backend e aos logs deve ser restrito a administradores autorizados.
• Governança de dados: defina políticas claras de retenção e exclusão de conversas. Guardar as últimas 1.000 interações sem criptografia é uma exposição desnecessária.
• IA ajuda, mas não substitui o teste humano: o modelo usado na investigação foi capaz de sugerir vulnerabilidades, mas a verificação manual foi essencial. Ferramentas de IA também podem ser usadas por criminosos.

O alerta final: o que um auditor consegue, um adversário também consegue

Os pesquisadores ressaltam que, durante o teste, usaram uma persona falsa de desenvolvedor para enganar o sistema e obter mais informações. A mesma técnica está disponível para qualquer pessoa mal-intencionada. A linha entre auditoria e ataque é muito tênue.

Para o empresário brasileiro que está pensando em implementar um chatbot de saúde, a mensagem é clara: tecnologia não é mágica. Ela exige responsabilidade. E, no setor de saúde, a responsabilidade é triplicada — porque o que está em jogo não são apenas dados, mas a confiança e o bem-estar de pessoas reais.