A era da escassez acabou. Ao menos quando o assunto é tecnologia da informação. Vivemos, agora, a transformação para a mentalidade da abundância, centrada em novas descobertas e focada em gerar valor para os negócios. Enquanto antes tudo era proibido pelos departamentos de TI a não ser que fosse permitido, hoje o que vemos é exatamente o contrário: tudo é permitido a não ser que seja proibido
A principal diferença é que antes tudo era limitado pela tecnologia, enquanto agora tudo tem de ser habilitado por ela. Nessa nova forma de pensar, as questões não são mais centradas em processos e não há foco no controle de custos, pois o principal objetivo é conseguir tirar o melhor proveito possível dos dados por meio da tecnologia.
Nessa era da abundância, com tantas ferramentas disponíveis, o custo de armazenar a informação ficou menor do que o custo de jogá-la fora, por conta de tecnologias de Big Data. Atualmente já é possível usar 100% dos dados para análise e visualização, em vez de apenas as amostras randômicas, melhorando o resultado dos modelos preditivos e o retorno sobre o investimento em TI.
Além disso, há a possibilidade de os dados serem mantidos em plataformas como o Hadoop, que provê benefícios como a diminuição de custos com storage. Existem algumas empresas especializadas em Hadoop, entre elas a Cloudera, que recentemente recebeu um aporte da Intel no valor de US$ 740 milhões, o que mostra a importância que o mercado tem dado a esse tipo de plataforma. O IDC já divulgou que espera que Hadoop atinja US$ 812,8 milhões em vendas globais em 2016, ou seja, expectativa de crescimento anual equivalente a 60,2%.
Embora Hadoop seja um termo desconhecido pelos leigos, uma simples olhada no Google Trends mostra que as buscas referentes a essa palavra são anteriores à procura por informações sobre Big Data na internet. Em meados de 2007, já se falava em Hadoop, bem antes da "febre" em torno dos benefícios de se armazenar e analisar grandes volumes de dados.
A combinação dos benefícios do Hadoop com outras tecnologias, como a de Analytics, ajudam os cientistas de dados a transformarem o Big Data em conhecimento. Ao permitir que as empresas consigam extrair insights profundos de seus ativos de dados mais rápido e com maior precisão, é possível, também, reduzir riscos e melhorar a compreensão dos negócios.
Monica Tyszler, diretora de soluções do SAS Brasil