Big Data foi o termo criado para denominar um fenômeno cada vez mais presente no dia a dia das organizações: o acelerado crescimento do volume de dados coletados em diferentes formatos a partir de uma variedade de fontes geralmente de forma automática.
No início da década passada, uma definição dos aspectos que caracterizam o Big Data foi amplamente aceita e difundida: o conceito dos 3Vs – volume, velocidade e variedade. Cada aspecto foi definido e relacionado aos dados gerados e armazenados. Volume se refere à grande quantidade; velocidade ao acelerado ritmo de geração e armazenamento; e variedade aos diferentes formatos (estruturados, semiestruturados, não-estruturados). Esse conceito é aceito até hoje como forma de definir e caracterizar o Big Data.
Como resposta aos desafios impostos pelos "3Vs", novas tecnologias tiveram que ser desenvolvidas, pois, em muitos casos, o que havia servido nas décadas anteriores para processamento, armazenamento, recuperação e análise de dados, não atendia de forma satisfatória às novas demandas. Trata-se, de fato, de um conjunto de tecnologias que surgiu para endereçar um novo cenário tecnológico, sociocultural e mercadológico.
As tecnologias que viabilizam o Big Data foram desenvolvidas inicialmente por grandes players da Internet, especialmente mecanismos de busca como Google e Yahoo. Essas empresas viviam diariamente o desafio de monitorarem o crescimento exponencial do número de páginas e seus respectivos conteúdos em todo o mundo. Era necessário desenvolver um arcabouço tecnológico que suportasse esse crescimento de maneira produtiva, confiável e econômica.
Novos conceitos na área de gestão de banco de dados, servidores de arquivos e modelos de desenvolvimento e arquitetura foram pesquisados, estudados e testados. A capacidade de distribuição de processamento, escalabilidade horizontal, flexibilidade para interação com as volumosas e crescentes bases de dados, dentre outros aspectos, foram necessidades que impulsionaram o desenvolvimento de tecnologias que suportam o conceito de Big Data. Essa base tecnológica foi desenvolvida predominantemente com tecnologias open source, o que conferiu uma grande flexibilidade e velocidade nos avanços e inovações. Trata-se de um conjunto de tecnologias específicas e amplamente testadas como Hadoop, Map Reduce, Apache HBase, dentre outras. Tais tecnologias estão na camada base de grande parte dos projetos bem-sucedidos de Big Data atualmente.
Big Data está inserido no contexto do que o ambiente empresarial vem chamando de "transformação digital", ou seja, as mudanças organizacionais decorrentes do uso da Internet como meio de relacionamento entre os agentes do ambiente de negócios, seja com clientes, fornecedores, órgãos públicos, sociedade, contribuintes e outros agentes. Nesse cenário, diversos canais de comunicação são crescentemente utilizados, o que incorre na geração de dados a cada interação com os diferentes públicos, em uma velocidade jamais vista.
No próximo post desta série analisaremos os aspectos socioculturais e tecnológicos que estão por detrás das mudanças recentes no comportamento dos consumidores, e que vêm levando empresas e organizações de diversos tipos a reformularem suas estratégias considerando a transformação de digital, e, nesse contexto, a adotarem o conceito e as tecnologias do Big Data em seus ambientes.
Bruno Rossi, diretor de consultoria da ASM.
