Considerada como a primeira plataforma global de lakehouse na nuvem, a Databricks combina as melhores características dos data warehouses e data lakes, para oferecer uma plataforma aberta e unificada para dados e IA na nuvem.
Com origens no mundo acadêmico e na comunidade de código aberto, a Databricks foi fundada em 2013 pelos criadores do Apache Spark, Delta Lake e MLflow, e recentemente arrecadou mais de US$ 500 milhões numa rodada de investimentos, sendo avaliada em US$ 43 bilhões.
Na América Latina a empesa já vinha atuando com profissionais alocados, sendo que no meio deste ano resolveu montar um escritório físico em julho para comandar a expansão para os demais países, com exceção da Costa Rica, onde ela já tem uma operação oficial.
“A empresa vai continuar a investir no mercado local para garantir o crescimento dos negócios de seus clientes nacionais, como Ifood, Bradesco, PicPay, entre outros, e aumentar as equipes de suporte, vendas e certificação profissional”, explicou Marcelo Sales, diretor geral de Field Engineering da Databricks na América Latina.
Sales também antecipou que a empresa deverá disponibilzar uma plataforma de markplace, onde seus próprios clientes poderão disponibilizar aplicativos para serem comercializados no mercado.
Com sede em São Francisco, escritórios em todo o mundo e centenas de parceiros internacionais, como Microsoft, Amazon, Tableau, Informatica, Capgemini e Booz Allen Hamilton, com objetivo de ajudaras equipes de dados a resolver, com uso de IA, os problemas mais complexos do mundo dos negócios.
Lançamentos
Em agosto, a Databrics realizou uma World Tour em São Paulo, onde apresentou os produtos lançados durante o Datai Summit 2023 nos Estados Unidos:
LakehouseAI
- Lakehouse AI oferece uma abordagem única centrada em dados que unifica os dados e a plataforma de IA, para que os clientes possam desenvolver as suas soluções de IA generativa de forma mais rápida e bem-sucedida – desde a utilização de modelos SaaS fundamentais até ao treino dos seus próprios modelos personalizados de forma segura com os dados da sua empresa. Unifica o ciclo de vida da IA, desde a recolha e preparação de dados, ao desenvolvimento de modelos e LLMOps, ao serviço e monitorização. As novas capacidades incluem: Pesquisa de vectores, modelos de código aberto com curadoria e ajuste fino em AutoML.
LakehouseIQ
- O LakehouseIQ é o primeiro canal de conhecimento para a sua empresa que permite que todos os funcionários utilizem linguagem natural para consultar dados em toda a organização. Compreende a sua empresa, os seus dados e a forma de os utilizar para acelerar o seu negócio. Faça uma pergunta e o LakehouseIQ encontrará o conjunto de dados correto, responderá e sugerirá novas perguntas que deveria estar a fazer. Favorecendo a democratização dos dados e a IA numa organização.
Lakehouse Apps
- As Lakehouse Apps permitirão que os mais de 10.000 clientes da Databricks desbloquear o valor dos seus dados no Lakehouse. Os clientes terão acesso fácil a uma ampla gama de aplicativos poderosos que são executados inteiramente dentro de sua instância do Lakehouse, usando seus dados, com todos os recursos de segurança e governança da Databricks. A Databricks também introduziu novos fornecedores de partilha de dados e capacidades de partilha de modelos de IA no Databricks Marketplace.
Delta Sharing
- O Delta Sharing ajuda as organizações a compartilhar e consumir conjuntos de dados ao vivo em plataformas, nuvens e regiões sem dependências de serviços específicos de compartilhamento de dados, incluindo o Databricks. A Databricks está expandindo o ecossistema Delta Sharing com novos parceiros, incluindo Cloudflare, Dell, Oracle e Twilio, para compartilhar dados perfeitamente entre suas plataformas, Databricks, Apache Spark ™, pandas, PowerBI, Excel e qualquer outro sistema que suporte o protocolo aberto.
Dolly
- A Databricks lançou o Dolly, o primeiro LLM verdadeiramente aberto. Como o Dolly foi ajustado usando o databricks-dolly-15k (15.000 pares de estímulos/respostas de alta qualidade gerados por humanos, especificamente concebidos para o ajuste de instruções de grandes modelos de linguagem), pode ser usado como ponto de partida para criar o seu próprio modelo comercial. A Dolly funciona pegando um modelo existente de fonte aberta com 6 mil milhões de parâmetros da EleutherAI e modificando-o para obter instruções seguindo capacidades como o brainstorming e a geração de texto não presentes no modelo original, utilizando dados da Alpaca. solução tem como objetivo democratizar os dados com modelos abertos de uma forma inovadora.
