Nesta quinta-feira, 18 de julho de 2024, o ambiente de tecnologia mundial que utiliza a solução CrowdStrike de segurança cibernética foi impactado negativamente pela falha em uma Gestão de Mudança de nova versão, e muitas empresas pararam seu ambiente de tecnologia. O CEO da CrowdStrike, George Kurtz, reconheceu que a atualização resultou em um "mal funcionamento" para dispositivos que executam o Windows. As ações da empresa caíram, e a entrevista à imprensa internacional de Kurtz para a imprensa internacional foi um desastre. Entendo que não tinham um Plano de Crise!
Vale a pena lembrar que o desastre nuclear de Chernobyl foi causado por um teste na usina nuclear. Mais especificamente, o desastre ocorreu durante um teste de segurança realizado em 26 de abril de 1986, no quarto reator da Usina Nuclear de Chernobyl, localizada na cidade de Pripyat, na Ucrânia, então parte da União Soviética.
Mudança em ambiente, testes e outros controles recomendados pelas Diretrizes estruturais de segurança (ISO, NIST, outros) devem ser levados muito a sério e devem ser feitos em procedimento "raiz", em vez de procedimentos que buscam a rapidez e esquecem a segurança. Pelas notícias a CrowdStrike não executou uma Gestão de Mudanças adequada.
Ambiente Matemático de Tecnologia de Inteligência Artificial, ou Inteligência Artificial (IA) como a mídia atualmente denomina, é um ambiente em que podem ocorrer incidentes por falhas, negligência, falta de controles ou ação criminosa. Quando lemos sobre Inteligência Artificial atualmente, muitas pessoas não têm conhecimento adequado e a citam como a IA sendo a perfeição e que solucionará todos os problemas do mundo e que exigir segurança e controles é uma atitude contra a inovação. Você já ouviu esta afirmação da segurança contra a inovação? Segurança da Informação existe para possibilitar que a informação seja tratada corretamente para o atendimento aos objetivos corporativos.
Mas, quais incidentes poderiam acontecer em um ambiente de Inteligência artificial? Registro abaixo as principais vulnerabilidades que podem facilitar a ocorrência de um incidente negativo:
- Gestão de Mudança não adequada. Ainda existem ambientes de teste e produção.
O controle de gestão de mudanças deve existir independente da tecnologia. Ele pode ser modernizado a sua execução, mas os controles precisam ser executados totalmente.
- Perda ou sequestro da Base de Dados utilizada.
A indisponibilidade dos dados utilizados pela IA ocasionam grandes impactos negativos como a não operacionalidade do serviço de Inteligência Artificial.
- Acesso indevido ou corrupção da Base de Dados utilizada.
A alteração indevida de dados utilizados pela IA permite que dados sejam alterados de maneira aleatória ou por uma ação criminosa direcionada. O funcionamento do serviço de IA fica disponível, mas tomando por referência dados alterados e gerando respostas falsas, imperfeitas, imprecisas, inverídicas, incorretas ou inexatas.
- Testes insuficientes
Testes para sistemas, ferramentas e serviços precisam ser planejados, definidos pontos de teste e validados com todas as situações possíveis. Um teste parcial que não contempla todas as situações por onde o algoritmo executa comandos pode gerar respostas erradas, entrar em "looping de programação" e parar o processamento ou podem cancelar a execução em função de um erro que aborda a implementação do algoritmo.
Os sistemas de AI dependem muito da base de teste ou base de aprendizagem. Se um reconhecimento facial ou equivalente não considerou todos os biótipos dos seres humanos, com certeza apresentará respostas indevidas ou paralisação do serviço.
- Profissionais de programação não experientes
A codificação de algoritmos utilizando diversas linguagens exige profissionais experientes nestes ambientes. Um profissional com pouca experiência pode gerar execução lenta ou com erros que impactam a execução e resultados da IA.
- Acesso indevido às Bibliotecas de Programas
Programas refere-se a conjuntos de instruções ou código que são executados para realizar tarefas específicas. No contexto de IA, programas podem incluir scripts de treinamento de modelos, algoritmos de processamento de dados e funções de inferência.
Somente profissionais autorizados e que realizam a função de tratamento destes programas deve ter acesso. Um acesso indevido por um criminoso (concorrente, exemplo), pode alterar estes scripts e emitir resultados errados que provavelmente demorarão muito tempo até serem descobertos.
- Não proteção adequada ao ambiente físico que suporta o ambiente de IA
Ambiente físico é o ambiente de Infraestrutura de Tecnologia contendo hardware e serviços utilizados para treinar e executar modelos.
O ambiente físico pode sofrer interrupções por falhas ou ações criminosas e descontinuar o funcionamento do ambiente de IA. Normalmente estes ambientes físicos estão em grandes provedores que tem uma excelente proteção física, mas não são infalíveis. É necessário garantir esta proteção física.
- Dependência do Sistema de Inteligência Artificial.
Neste momento inicial do uso da Inteligência Artificial, existem empresas, ou setores da empresa que dependem totalmente da execução ambiente de IA. Uma ótima notícia, pois indica que a organização está sendo inovadora e prática para o seu negócio. Porém tem que se fazer uma Análise de Riscos e junto com a área de negócio e o Corpo diretivo, definir como será tratado a ameaça da indisponibilidade do ambiente de IA. Haverá soluções alternativas ou o Corpo Diretivo assume o risco desta indisponibilidade.
- Ferramentas de apoio com segurança frágil
A codificação para a escrita do código-fonte em linguagens de programação para criar programas e sistemas de IA normalmente contam com a ajuda de conjuntos de ferramentas e funções que facilitam o desenvolvimento de IA. Essas ferramentas precisam ter um grau de segurança adequado. Não é fácil ter esta garantia, pois muitas vezes utilizamos o que o mercado usa, mas não necessariamente é o mais seguro.
- Uso de APIS (interfaces de Programação de Aplicações) com segurança frágil
Quando da elaboração ou quando da utilização de APIs já prontas de terceiros, é necessário identificar o nível de maturidade de segurança destas APIs. Da mesma maneira como o item 9, este não é um controle fácil. Mas devemos sempre lembrar que "a corrente quebra no elo mais frágil". Podemos ter um excelente sistema de IA, mas se uma API permite ações criminosas ou de curiosos, temos um grande risco.
Conclusão
O Ambiente de Tecnologia de Inteligência Artificial pode sofrer ataques criminosos, falhas humanas, cooptação criminosa de colaborador e erros, como qualquer outro ambiente de tecnologia.
Profissionais responsáveis pelo uso da IA publica e da IA Corporativa devem identificar ameaças que podem comprometer a integridade e disponibilidade destes ambientes. Citei 10 possíveis vulnerabilidade. Com certeza vocês leitores vão acrescentar ou melhorar o que apontei. O que é importante é tratarmos o sistema de IA como um bom sistema, mas que precisa de cuidados e controles.
O que apresentei é o mínimo que cada organização deve considerar.
Sua organização tem peculiaridades e podemos conversar sobre isto.
Edison Fontes, CISM, CISA, CRISC, Ms. 2024.
Colaboração e transparência parecem ser os mais importantes soft skills dos ambientes de TI cada dia mais complexos. Testes de regressão não devem ser menosprezados como supérfluos, aqueles em que testa-se tudo o que funcionava de novo, após a implementação de atualizações, para garantir que nada foi afetado.