A Forcepoint avisa: a inteligência artificial vai ditar as tendências em cibersegurança este ano. De um lado, porque oferece eficiência e ganho de produtividade para tarefas do dia a dia e, por outro, porque oferece riscos. Por isto, a empresa acredita que aprender mais sobre as ferramentas da IA Generativa se torna uma necessidade atualmente, principalmente quando o assunto é segurança corporativa e os riscos apresentados.
A rápida evolução do uso da IA por criminosos, evidenciada pelo surgimento de malwares como DarkBERT e FraudGPT, intensifica a necessidade de compreender e abordar a segurança em seu contexto.
A exploração das capacidades de modelos de linguagem de código aberto, como ChatGPT, conduziu a reflexões sobre ajuste fino. O desafio era discernir as possibilidades de adaptação desses modelos para criar malware sofisticado, capaz de orquestrar ataques complexos, como phishing e exfiltração de dados. A busca por métodos eficazes de ajuste fino, como o LoRA (Adaptação de baixo nível de modelos de linguagem grande), destacou-se como uma abordagem viável, oferecendo resultados promissores com custos relativamente baixos.
A aplicação prática do LoRA em um modelo de linguagem de código aberto sem censura revelou-se acessível. Essa abordagem, combinada com a possibilidade de compartilhar o modelo ajustado, aponta para um cenário em que grupos criminosos podem facilmente adotar e distribuir inteligência artificial treinada para fins maliciosos, ampliando as ameaças globais de segurança cibernética.
Mitigação
Empresas como Samsung e Verizon proibiram inicialmente a IA devido aos riscos percebidos para informações confidenciais, mas sua implementação segura é crucial, especialmente quando dados são irreversivelmente introduzidos no ecossistema.
O uso de ferramentas privadas de IA apresenta ser mais seguro, porém muitas organizações dependem de soluções públicas, como o ChatGPT. Isso implica nos dados não serem mais exclusivamente de propriedade da empresa, o que enfatiza ainda mais a necessidade de focar na prevenção da exposição de informações sensíveis. É por isso que o objetivo de incorporar a IA deve centrar-se na prevenção da introdução indevida de informações sensíveis ao grande desconhecido da IA gerativa pública.
Segundo a empresa, um programa de governança de IA bem-sucedido precisa:
. Definir o uso seguro de aplicativos e processos de IA
. Garantir investimentos de recursos multifuncionais entre unidades de negócios
. Mostrar dedicação à integração e implantação seguras em departamentos e divisões
Envenenamento de dados
À medida que os algoritmos se tornam um elemento básico da vida cotidiana, novas superfícies de ataques são detectadas. Manipulando-os, atacantes podem controlar os resultados. Esse tipo de ataque, chamado envenenamento de dados, está se tornando mais recorrente à medida que os invasores ganham acesso a maior poder computacional e a novas ferramentas.
Olhando para 2024, considerando a popularidade e a adoção de novas ferramentas de aprendizagem automática e IA, as empresas podem esperar ver um aumento nos ataques de envenenamento de dados. Baseando-se nisso, conheça os tipos existentes de envenenamento de dados:
. Ataque de disponibilidade (availability attacak): todo o modelo é corrompido, causando falsos positivos, falsos negativos e amostras de teste classificadas incorretamente;
. Ataque Backdoor: um ator introduz backdoors (ou seja, um conjunto de pixels no canto de uma imagem) em um conjunto de exemplos de treinamento, fazendo com que o modelo os classifique incorretamente e impactando a qualidade do resultado;
. Ataques direcionados: o modelo continua a funcionar bem para a maioria das amostras, mas um pequeno número é comprometido, dificultando a detecção devido ao impacto visível limitado no algoritmo.
Combater o envenenamento de dados é uma tarefa difícil. A correção de um modelo requer uma análise detalhada das entradas de treinamento do modelo, além da capacidade de detectar e remover entradas fraudulentas. Se o conjunto de dados for muito grande, tal análise será impossível. A única solução é treinar novamente o modelo completamente. Mas isso não é simples ou barato.
Problemas sistêmicos que afetam a Inteligência Artificial/Machine Learning
A implementação inadequada da IA pode resultar em consequências adversas, mesmo na ausência de intenções maliciosas. Um exemplo ilustrativo é o rumo que pode surgir em sistemas de previsão de texto. Esses dados foram corrigidos após identificação, mas a origem do problema destaca a sensibilidade da IA aos dados de treinamento. Além disso, o crowdsourcing de conjuntos de dados, como no caso do ImageNet, pode introduzir inadvertidamente preconceitos, exigindo transparência na origem dos dados para mitigar problemas sistêmicos.
Modelos treinados em conjuntos de dados antigos podem perpetuar vieses, resultando em recomendações discriminatórias. A falta de transparência na operação desses modelos levou a situações em que juízes confiaram nas recomendações da IA resultando em sentenças desproporcionadas e, em alguns casos, racistas. Esse fenômeno destaca a importância da compreensão do funcionamento dos modelos de IA e da divulgação transparente dos dados utilizados.
Com a interseção entre a Inteligência Artificial e a cibersegurança, virou fato a evolução abrangente das defesas digitais, segundo a empresa. Contudo, as implicações diretas desse avanço são marcadas por desafios, desde dados de treinamento suscetíveis a envenenamento por políticas inadequadas, destacando a necessidade de cautela na implementação dessa tecnologia na segurança digital.
