A IBM anuncia hoje a disponibilidade do LLM Mixtral-8x7B de código aberto, desenvolvido pela Mistral AI, em sua plataforma de dados e IA watsonx. Em testes, a versão otimizada da plataforma aumentou a quantidade de dados que podem ser processados em um determinado período.
Isso poderia potencialmente reduzir a latência em 35-75%, dependendo do tamanho do lote – acelerando o tempo para insights. Isso é possível por meio de um processo chamado quantização, que reduz o tamanho do modelo e os requisitos de memória para LLMs e, por sua vez, pode acelerar o processamento para ajudar a reduzir os custos e o consumo de energia.
A adição do Mixtral-8x7B expande a estratégia aberta e multimodelo da IBM para atender aos clientes onde eles estão e dar-lhes escolha e flexibilidade para escalar soluções de IA corporativa em seus negócios. Ao longo de décadas de pesquisa e desenvolvimento de IA, colaboração aberta com a Meta e a Hugging Face e parcerias com líderes de modelos, a IBM está expandindo seu catálogo de modelos watsonx?ai e trazendo novos recursos, linguagens e modalidades.
As escolhas de modelo básico pronto para empresas da IBM e sua plataforma de IA e dados watsonx pode capacitar clientes a usar IA generativa para obter novos insights e eficiência, e criar novos modelos de negócios baseados em princípios de confiança. A IBM permite que os clientes selecionem o modelo certo para os casos de uso corretos e metas de preço e desempenho para domínios de negócios direcionados, como finanças.
O Mixtral-8x7B foi construído usando uma combinação de modelagem Sparse, uma técnica inovadora que encontra e usa apenas as partes mais essenciais de dados para criar modelos mais eficientes, e a técnica Mixture-of-Experts, que combina modelos diferentes que se especializam em resolvem diferentes partes de um problema. O modelo Mixtral-8x7B é amplamente conhecido por sua capacidade de processar e analisar rapidamente grandes quantidades de dados para fornecer insights relevantes de contexto.
