A monetização dos dados já faz parte do nosso dia a dia e diariamente recebemos uma avalanche de informações que são utilizadas para manter e potencializar os negócios. A maneira que buscamos e recebemos esse conteúdo pode ser estruturada (bancos de dados, tabelas excel, formulários) ou não estruturada (textos, arquivos, vídeos, áudios, redes sociais) – e é aqui que mora o desafio das organizações.
Há muito tempo, a vantagem do uso das informações passou a ser a forma como os coletamos, organizamos, interpretamos e analisamos para gerar insights e transformá-los em ganhos para os negócios. Entretanto, a maior parte está em estado bruto, que geralmente é armazenado em um data lake, ou seja, um repositório.
Mas afinal, qual é a importância de se ter e manter um data lake? Simples, acesso fácil e rápido aos dados não estruturados. O repositório centraliza e armazena todos os tipos de dados gerados pela empresa e para ela. A partir dele é que negócios de todos os segmentos tiram informações que serão, posteriormente, tratadas e estruturadas para orientar estratégias e tomadas de decisão. Mas vale ter em mente que em um data lake, o que vale é a quantidade e não a qualidade dos dados.
Quando o assunto é a propriedade da informação e sua importância para a empresa, há um conceito e solução que nos auxiliam na centralização e organização, o data warehouse (DW). Basicamente, ele é um repositório central, onde todos os dados relevantes para a empresa estão armazenados, que podem ser organizados em grupos estratégicos, como dados financeiros e de vendas, por exemplo, e onde as informações são sumarizadas para serem consumidas na ponta, ou seja, pelas áreas de negócio.
Desta forma, a diferença entre data lake e data warehouse está na maneira como as informações estão dispostas em cada um desses repositórios. No data lake, os dados ficam armazenados em estado bruto, sem qualquer tratamento. No DW, são filtrados, catalogados ou hierarquizados de alguma forma. Entretanto, essa diferenciação de ambientes pode ser suprimida e se tornar consolidada.
Data Warehouse do futuro
À medida que os data warehouses tradicionais foram ganhando cada vez mais eficiência, tornaram-se amplas as infraestruturas de análise, compatíveis com uma gama de aplicações desde análise avançada operacional a gestão de desempenho. E, para que tudo isso funcionasse de maneira a suportar e escalonar conforme a alta demanda, foi preciso migrar o data warehouse para a nuvem. No ambiente virtual, o DW passou a ser modern data warehouse (MDW), ou data warehouse moderno.
O MDW permite reunir com facilidade todos os dados em qualquer escala, estruturados, não estruturados ou semiestruturados, oferecendo disponibilidade e alta performance no acesso às informações armazenadas no final do processo de BI. Em um data warehouse tradicional, por exemplo, os dados estruturados são compilados em um único local, contudo têm de ser atualizados constantemente em razão do grande volume. E mais: todo esse processo gera alto custo e impacta o desempenho. Já, considerando os recursos em nuvem, o MDW não necessita de máquinas locais para processamento de dados e podem ser escalados rapidamente conforme a demanda do negócio.
O data warehouse moderno traz agilidade, escalabilidade, facilidade, mais performance e redução expressiva de custos operacionais. Mas, a principal vantagem é a velocidade com que é possível gerar insights estratégicos, que garantem alta competitividade nesse novo mundo em que o futuro invade o presente a todo instante. É preciso estar à frente, agora.
André Muraki, gerente da BU de Data Intelligence da Logicalis.
