Você tem ideia de quantos sites brasileiros existem na Internet? Quantos são e-commerces e quais os meios de pagamento mais utilizados? Ou qual o número de blogs existentes, a periodicidade de postagem e as categorias mais acessadas? Podemos enxergar a web como um grande mar de dados não estruturados, dentro do qual residem as respostas para essas perguntas e muitas outras que ainda nem pensamos. Ela é, portanto, um exemplo de Big Data.
Lidar com essas informações não estruturadas, que estão constantemente mudando e que vêm de fontes diversas, é o objetivo das técnicas e tecnologias relacionadas com Big Data. São justamente essas tecnologias que nos permitem construir processos para capturar todo esse conteúdo e transformá-lo em informações úteis, seja sob a forma de relatórios, estatísticas, ou simples respostas para as perguntas. Conseguimos hoje extrair o máximo desse mar de elementos soltos para construir respostas a essas e outras perguntas mais.
As ferramentas de análise da web existentes focam nos elementos de navegação e tráfego: como se comportam os visitantes do seu site, como eles se movimentam, o que eles fazem, qual o perfil sócio-demográfico deles, e assim por diante. Isso, no entanto, é só metade da imagem. É necessário também olhar para a concorrência, ver o que ela está fazendo, quais novidades está trazendo, e como isso está afetando os indicadores. É essa outra parte da imagem que um mapeamento profundo da Internet é capaz de oferecer.
Um levantamento único e detalhado da Internet brasileira, com mais de 4 petabytes de informações e 100 bilhões de páginas visitadas, aponta, por exemplo, que existem cerca de 3,5 milhões de sites nacionais, dos quais 2,2 milhões estão ativos. As lojas virtuais representam 18% dos sites em atividade, número que equivale a aproximadamente 400 mil lojas. Destas, 40% são hospedadas no exterior. No total, 20% dos sites brasileiros estão registrados em outros países.
Estes dados são apenas uma amostra do que é possível de ser extraído da Internet utilizando-se as técnicas de Big Data. Elas já foram adotadas por diversas grandes empresas e representam uma vantagem fundamental, pois iluminam um mercado sobre o qual se tem muito pouca visibilidade. É um recurso que apresenta novas oportunidades de negócios e informações valiosas para serem analisadas por gestores, tomadores de decisão e profissionais de marketing.
Thoran Rodrigues, CEO da BigData Corp