Os obstáculos que freiam a evolução da inteligência artificial

Os modelos de linguagem de larga escala (LLMs), baseados na arquitetura Transformer — uma tecnologia criada pelo Google em 2017 e publicada no artigo “Attention is All You Need” — são responsáveis pela disrupção provocada pelo ChatGPT e têm se destacado como uma das mais impressionantes evoluções na inteligência artificial nas últimas décadas. Considerando o benchmark SuperGlue (que inclui uma bateria de tarefas de NLP para avaliar o funcionamento dos modelos), o GPT-2, um dos modelos de referência prévios ao GPT-3, obteria uma pontuação de 44,5, o GPT-3, o modelo inicial do ChatGPT, obteria 71,8, e o GPT-4 atual obtém 89,5. Desde o lançamento do ChatGPT pela OpenAI, a corrida por modelos mais poderosos e eficazes não parou, levando gigantes da tecnologia como Google, Meta e Anthropic a desenvolver suas próprias versões melhoradas. Entre as principais, podemos citar Claude, Gemini e Llama.

A evolução não se limita apenas aos modelos textuais; modelos multimodais, como o GPT-4, que podem processar e integrar dados de texto, imagem e áudio, representam a próxima fronteira na IA, ampliando ainda mais as capacidades e aplicações dessas tecnologias inovadoras.

Por trás desse crescimento está a NVIDIA, principal fornecedora dos chips necessários para rodar as aplicações baseadas em IA generativa. Não por acaso, seu valor de mercado triplicou em 2023 e, em seis meses de 2024, mais do que dobrou de tamanho. Em junho, a empresa superou o valor de mercado de US$ 3 trilhões, se tornando a empresa mais valiosa do mundo.

Em três anos, a velocidade de desenvolvimento de popularização da IA generativa foi impressionante – a ponto de muitos “futuristas” preverem usos ainda mais complexos da tecnologia.

Para que a IA generativa continue a evoluir e superar suas limitações atuais, é necessário focar em alguns pontos críticos de melhoria:

• Mais conhecimento depende de mais dados: a capacidade dos modelos Transformer de aprender e generalizar a partir de dados massivos é uma de suas maiores vantagens. Contudo, a disponibilidade de dados de alta qualidade está se tornando um gargalo. Estima-se que, até 2026, a quantidade de dados textuais de qualidade disponíveis na internet pública se esgote. Para mitigar essa limitação, pesquisadores estão explorando fontes alternativas, como dados privados, multimodais (áudio e vídeo) e até a geração de dados sintéticos utilizando os próprios LLMs.

• Ineficácia no modo de aprendizado: comparado ao cérebro humano, que aprende de forma altamente eficiente usando menos energia e dados, os LLMs baseados em Transformers são muito menos eficientes. A arquitetura atual depende de um processo computacionalmente intensivo conhecido como backpropagation, que aprende à medida que processa dados e ajusta a equação de bilhões/trilhões de parâmetros que representam a rede neural. Essa abordagem é não apenas lenta, mas também consome muitos recursos.

• Falta de capacidade de raciocínio: embora os LLMs atuais sejam excelentes em tarefas que envolvem reconhecimento de padrões em dados não estruturados e geração de texto, eles carecem da capacidade de raciocinar de forma analítica e lógica como os humanos. Atualmente, esses modelos funcionam predominantemente em um formato rápido e automático, similar ao pensamento intuitivo humano, mas para resolver problemas complexos, esse formato de pensamento não é suficiente.

Para dar perspectiva à relevância das limitações mencionadas, é importante compreender que, embora os LLMs sejam um componente central e essencial, eles não operam isoladamente. A criação de soluções complexas e eficazes de IA Generativa envolve uma combinação de várias técnicas e práticas, algumas das quais acabam mitigando o impacto das limitações comentadas.

Um exemplo dessa combinação é o uso de LLMs com bases de conhecimento. Em aplicações onde é necessário fornecer respostas precisas com base em uma fonte de conhecimento específica e evitar as temidas alucinações, não solicitamos a tarefa unicamente ao LLM. Em vez disso, o LLM é instruído a construir uma resposta baseada em uma fonte de conhecimento de referência. Dessa forma, a relevância do conhecimento literal aprendido se torna secundária em comparação à capacidade do modelo de gerar respostas precisas e contextualmente apropriadas com base em fontes de conhecimento dinâmicas e atualizadas, informações recentes ou específicas que não estavam disponíveis durante o treinamento original.

Existe muita margem de melhoria em criar modos de aprendizado mais eficazes em que os LLMs consigam aprender de uma forma mais eficiente em termos de tempo e capacidade computacional, otimizando a capacidade de retenção do conhecimento dos LLMs. Nos últimos meses, têm se popularizado propostas para evoluir os LLMs, como o modelo Mamba, publicado em um artigo de Albert Gu e Tri Dao. Uma alternativa aos transformers, ele filtra dinamicamente a informação em função do conteúdo, otimizando o aprendizado do modelo com resultados muito promissores. Também se destaca o modelo 8x7B da Mixtral, uma startup francesa fundada por ex-engenheiros do Google e Meta, que utiliza um approach Mixtura de Especialistas (MoE). O 8x7B tem 8 “especialistas” que permitem otimizar o processamento da informação, tendo 46.7 bilhões de parâmetros, mas com consumo de recursos e velocidades de cálculo equivalentes às de um modelo com 12.9 bilhões de parâmetros e performance similar a modelos como Llama-2, que têm 70 bilhões de parâmetros.

Atualmente, para mitigar a baixa capacidade de raciocínio dos LLMs, utilizamos a engenharia de prompts. Através de prompts elaborados, podemos orientar o raciocínio dos LLMs, fornecendo exemplos de referência ou executando uma sequência de prompts (cadeias de prompts). Isso nos permite criar soluções capazes de realizar tarefas complexas. O sucesso dessas soluções depende significativamente da habilidade de traduzir a tarefa desejada em prompts eficazes.

No contexto dos avanços em inteligência artificial generativa, a evolução dos chips é crucial, mesmo que atualmente não sejam um obstáculo para desenvolver IA mais sofisticada. Chips mais potentes e eficientes são essenciais para a adoção em larga escala, pois melhoram o processamento de grandes volumes de dados e otimizam o desempenho geral.

A inteligência artificial (IA) pode não passar por outra revolução disruptiva iminente, mas a tecnologia de LLMs atual promete uma evolução progressiva. Esta evolução dependerá de nossa capacidade de superar desafios cruciais, como a necessidade de dados de alta qualidade, a busca por métodos de aprendizado mais eficientes e o aprimoramento da capacidade de raciocínio dos modelos. Conforme navegamos essas fronteiras, o potencial para desenvolver soluções de IA mais poderosas e eficientes se torna cada vez mais tangível, abrindo novas possibilidades e aplicações para o futuro.

Luís Quiles, diretor de Inteligência Artificial da NTT DATA.