Em abril de 2023, uma gigante asiática de tecnologia vivenciou um incidente de segurança envolvendo o uso do ChatGPT, uma das ferramentas de inteligência artificial generativa mais conhecidas. Funcionários da empresa utilizaram a plataforma para lidar com informações confidenciais: em um caso foi fornecido ao prompt um código-fonte contendo propriedade intelectual e sigilo industrial para obter versões otimizadas dele; em outro, foi fornecida a transcrição de uma reunião para obter uma ata. Em ambos os casos, o resultado final foi o vazamento de informações confidenciais de negócio.
De lá pra cá, surgiram e se popularizaram várias outras plataformas de IA Generativa e rapidamente vemos os negócios se utilizarem destas para oferecer soluções inovadoras que melhoram a experiência de seus clientes, em alta escala e com baixo custo. Aplicações que interagem com estas plataformas em diferentes "Casos de Uso" se multiplicam por aí, desde assistentes que transformam uma FAQ enfadonha em uma conversa animada até sommelier que ajuda a escolher um vinho no supermercado.
No entanto, como se sabe, junto com a massificação do uso de qualquer nova tecnologia, os riscos do ponto de vista de segurança cibernética precisam ser conhecidos e gerenciados. Desta forma, as soluções podem nascer, serem mantidas e utilizadas sem ameaçar o negócio em si – mitigando riscos regulatórios, legais, reputacionais, econômicos ou quaisquer outros.
Especificamente sobre os aspectos de segurança cibernética aplicáveis a estas soluções que interagem com plataformas de IA Generativa, a Capigemini compilou a seguinte lista de recomendações que considera essenciais para uma jornada segura:
1. Estabelecer políticas claras de uso: Trata de definir regras para o uso de ferramentas IA Generativa, incluindo responsabilidades dos usuários. Algumas organizações seguiram pelo caminho de proibir o uso destas ferramentas, o que pode causar impactos em inovação e competitividade, e ainda estimular o uso clandestino. Outras, liberam o uso das plataformas sem quaisquer regras, o que traz obviamente riscos de vazamento de informações (entre outros). Nos parece que o caminho feliz neste caso é permitir o uso disciplinado, por isso a importância de estabelecer e comunicar (treinar) as políticas de uso.
2. Implementar a classificação de informações: Definir as políticas, e implementar processos e controles para ter um sistema de classificação de informações eficaz. A partir deste, realizar uma varredura de dados (Data Discovery), marcar (Data Tagging) e mascarar (Data Masking) os dados enviados ao prompt de IA Generativa. Você provavelmente não gostaria que Dados Pessoais de seus clientes fossem compartilhados com alguma plataforma de IA Generativa e correr o risco de que haja vazamentos; portanto controlar (varrer, classificar e mascarar) os dados enviados ao prompt de IA Generativa é essencial. Note ainda que a maioria das plataformas de IA Generativa estão fora do País, o que pode ter implicações regulatórias (ex.: Banco Central) ou legais (ex.: LGPD).
3. Conscientizar usuários e desenvolvedores: Os usuários das plataformas de IA Generativa precisam entender os riscos associados a utilização destas. O caso de vazamento de dados que abre este artigo é muito sobre isso – falha no processo de conscientizar sobre os riscos e treinar no que pode ser feito e o que não pode ser feito. Além dos usuários, os desenvolvedores que constroem aplicações que acionam IA Generativa via API precisam igualmente serem considerados nestes treinamentos. Como sempre, faz-se necessário reforçar a cultura de segurança da empresa incentivando que todos os colaboradores se sintam responsáveis pela proteção dos dados da mesma.
4. Gerenciar identidades e acesso: Uma vez que os dados estejam mapeados e classificados, o seu acesso precisa ser controlado tanto para consultas quanto (e talvez, principalmente) para alterações. Bases de Dados que estejam integradas com a IA Generativa via aplicações e APIs e que apresentem fragilidades em controles de acesso podem não apenas permitir o vazamento de informações quanto o "envenenamento" com dados falsos alterados de forma não autorizada por atacantes. Estabelecer os perfis de usuário, conceder acessos em regime de mínimo acesso necessário e fortalecer processos de autenticação (com uso de múltiplos fatores de autenticação, por exemplo) são exemplos de algumas ações recomendadas neste ponto.
5. Gerenciar a segurança da infraestrutura: Suportando qualquer aplicação sempre teremos as máquinas físicas, as virtuais, os sistemas operacionais, os elementos de rede e os de segurança, tanto dentro de casa (on premises) como em nuvem. Assim, faz-se necessário desenhar e implementar arquiteturas seguras, com base em Arquiteturas de Referência provadas, melhores práticas e recomendações dos fabricantes. Também é importante gerenciar e monitorar estes ambientes com processos e ferramentas que sejam compatíveis com o grau de dificuldade do desafio – as ameaças estão rondando os negócios em regime 24×7 portanto controles de segurança adequados ao risco do seu negócio precisam ser adotados: gestão de vulnerabilidades, monitoração, detecção e resposta a incidentes, Inteligência de Ameaças, Testes de Intrusão periódicos e gestão de logs são alguns dos exemplos de controles para este ponto.
6. Gerenciar a segurança da aplicação (e APIs): Esse é um dos temas mais relevantes, mas, infelizmente, ainda muito negligenciado. A gestão de segurança nas aplicações e APIs deve fazer parte de todo o processo de desenvolvimento, como se prega em disciplinas como Security & Privacy by Design: entender a classificação dos dados tratados pela aplicação, pessoais ou não, e os riscos associados; e definir controles adequados para mitigação destes riscos. Realizar a codificação segundo melhores práticas de desenvolvimento seguro. Realizar testes no código fonte (Teste Estático de Segurança – SAST) e binário (Teste Dinâmico de Segurança- DAST). Avaliar os riscos dos componentes de terceiros, como por exemplo bibliotecas. Estabelecer Gestão de vulnerabilidades e Testes de Intrusão na camada de aplicação e API. Ainda considerar: desenhar a solução observando os requisitos de controle de acesso, de conformidade e legais, criptografia dos dados, trilhas de auditoria, disponibilidade da aplicação, autenticação etc.
7. Estabelecer uma Governança de IA Generativa: A "Shadow IA Generativa" está aí na sua empresa neste momento, quer você tenha ciência ou não disso. Para combatê-la, faz-se necessário passar por vários dos pontos anteriores – incluindo definição de política de uso, treinamento e conscientização etc. Mas o negócio precisa posicionar-se sobre quais soluções podem ser usadas, e como. Por isso estamos falando de estabelecer uma governança sobre o mundo das plataformas de IA Generativa, e por consequência dos dados e controles de segurança associados a elas. A governança é a mãe de toda e qualquer outra recomendação.
Um último pensamento importante é sobre a utilização do Princípio de Guardrails nos projetos de IA Generativa. A ideia é estabelecer limites e restrições para evitar erros e comportamentos indesejáveis da plataforma, assegurando que o sistema como um todo trabalhe sem "sair da pista", protegendo-o de falhas de segurança e aumentando a sua confiabilidade. Assim, mais do que impedir que alguma coisa seja feita, o enfoque torna-se para quais os limites a serem estabelecidos e como podem ser aplicados de forma efetiva.
Em texto escrito nas plataformas ChatGPT e Bard, a companhia afirma que, seguindo as recomendações acima, as empresas podem criar soluções inovadores para seus clientes aproveitando ao máximo os benefícios trazidos pela IA Generativa, enquanto mitigam os riscos de segurança cibernética associados ao seu uso.
