A gigantesca enxurrada de dados que atinge as corporações não é um fenômeno assim tão recente. Há muito tempo ele vem mobilizando esforços da indústria de TI para que as empresas possam não só contornar os enormes problemas que este nível de imputs gera para o dia a dia de seus negócios, mas também para viabilizar a manipulação desses dados como ferramenta de negócio.
Mas o que atualmente vemos emergir deste ameaçador mar de dados é uma vaga que, para muitos, assemelha-se a um tsunami que poderá afogar toda a possibilidade de ordenação da massa de informação efetiva. Para outros, pelo contrário, a chance de dominar estas ondas e canalizá-las, de forma rápida, em direção dos dutos que irrigam o negócio as posiciona não como ameaça, mas como uma fonte de oportunidade antes nunca vista na esfera da exploração de dados.
E tudo isso aconteceu muito rápido. Há pouco mais de duas décadas iniciava-se a digitalização massiva do trabalho; e os níveis de complexidade e volume das informações iam superando, em poucos anos, aquilo que os arquivos de aço, as fichas de cartolina e as máquinas Olivetti haviam levado séculos para erguer no horizonte dos dados.
O barateamento dos circuitos Intel e AMD; a popularização de interfaces DOS e Windows, tudo isto associado à crescente banalização das mídias magnéticas tornam o computador uma verdadeira commodity, tirando das grandes empresas o privilégio milagroso da informática. Falava-se muito em downsing e assistíamos boquiabertos à explosão da produção de dados e sua integração via linguagem C, bem como através do uso de protocolos de comunicação com os então moderníssimos modems analógicos que atingiam a incrível velocidade de 1.200 Bits por segundo.
Ainda mal recuperados desse espetáculo da revolução informacional, presenciamos o ‘’boom’’ das redes TCP/IP, ao longo dos anos 80, logo superadas pela Internet abundante e pela transformação da banda larga numa utility comparável à água, à luz e ao esgoto das residências e empresas a partir do ano 2000.
Atingir o estágio atual, entretanto, era algo inimaginável há pouco mais de cinco anos. Enquanto, em 2005, a memória volátil média de um computador de mesa girava em 256MB e com discos de 10 GB; hoje as máquinas saem de fábrica com 4 GB de RAM e HD de 600 Gb.
A capacidade de interações nas empresas chegou a níveis astronômicos. Veja-se o exemplo do Walmart, nos EUA. A cada hora do dia, os canais de contato daquela rede varejista atingem 2,5 Petabytes de dados. Ou seja, um volume equivalente a 170 bibliotecas do Senado norte-americano a cada 60 minutos, e isso numa única empresa.
Assim, quando se fala em “Big-Data”, não se pense que seja demasiadamente exagerado associar isto à ideia de um “Big-Bang”, guardadas as proporções. Atente-se para o fato, ainda, de que 85% das informações empresariais são hoje dados não estruturados. O volume e a variação do cardápio das fontes de dados comparecem ainda para multiplicar a complexidade do ambiente informacional para uma dimensão pra lá de estratosférica.
E tudo isto sem mencionar aquela ingênua negligência com que grande parte das empresas vai lidando com a enxurrada de dados, que são simplesmente arquivadas em duplicidade, em multiplicidade e em aleatoriedade… ou então são doce e simplesmente deletadas para não confundirem os “gestores” ou não atulhar o storage!
Com este tipo de atitude e sem a tecnologia correta para transformar o dado em negócio, empresas de todos os portes pedem o pé do seu cliente enquanto não ficam de bem com o universo dos “Big-Data”.
Elas atrelam sua competência às limitações da informática legada; informática esta que foi desenvolvida num período em que o dado digital ainda usava o paradigma das gavetas e dos armários de aço com que as repartições se adornavam e que, em última instância, geravam arquivos-mortos, e que hoje geram, porque não: enormes cemitérios de dados.
Com informação para se cuidar (e se explorar ao invés de se morrer sufocado sobre ela), é preciso repensar a estratégia de dados, não só nas grandes, mas também nas empresas menores.
Manusear este volume astronômico de dados, pensando em entrega rápida e com qualidade dos relatórios, painéis de análises ad hoc, ou de analises preditivas para mecanização de decisões. Aí está o desafio que se coloca para o gestor de informações de negócio. O homem de dados não é mais aquele burocrata dos arquivos, mas um co-estrategista do varejo que busca conhecer a fundo o que tais dados têm a dizer sobre os hábitos de compra do cliente e sua tendência comportamental diante da nossa empresa ou das empresas concorrentes.
Sim, o homem de dados organiza arquivos, mas isto é apenas um meio para que ele descubra brechas ou eventos concretos em termos de fraudes financeiras ou em termos de exaustão futura dos estoques.
O modelo tradicional de arquitetura mais comumente utilizada hoje não serve mais : O mundo dos grandes dados exige uma dimensão muito maior em termos de capacidade de I/O e ETL, controle de pontos de falha, gestão de pontos de performance, “ tunning”….. análises tridimensionais de logs e informações que podem ser feitas num segundo, mas também podem levar vários dias.
Só uma tecnologia “supersônica” pode nos apoiar no novo universo “Big-Data”. É por isto que os formadores de opinião da indústria – e, não por acaso, com a IBM à frente, com sua novíssima e ultra-robusta plataforma Netezza – já estão em movimento para promover uma guinada no mercado de soluções de data warehouse. Este movimento promete uma nova revolução cujo start não será daqui a um ano ou daqui a uma semana. Ele já está em curso, na verdade, e as líderes do varejo, bancos, utilities, seguros, governo e serviço já captaram a mensagem. O volume mundial de dados irá dobrar ou até quadruplicar novamente em 2012. Assim, ou nos valemos disso como diferencial ou corremos o risco de sermos soterrados sobre ruído de bilhões de decibéis que não irá se tornar música.
Márcio Guerra – Diretor da MD2 Consultoria
