Assim como ocorre em outros países, o Brasil enfrenta uma escassez de recursos para projetos de Big Data. As universidades brasileiras investem pouco nessa área devido aos custos de infraestrutura, falta de financiamento (no caso das universidades públicas) e mesmo diante da atualidade do tema. Apenas nos últimos dois anos surgiram cursos, em nível de especialização principalmente, voltados ao tema Big Data.
A carência de profissionais abrange outras áreas de análise de dados como aplicações analíticas e Business Intelligence. Viveremos uma situação nessas áreas em que a oferta de profissionais ficará bastante aquém do nível de demanda nos próximos anos. A crise econômica atual desacelerou sensivelmente o crescimento desta demanda, porém, os investimentos das empresas nessas áreas continuam a ocorrer, já que estamos tratando de áreas prioritárias para o crescimento e competitividade. Em determinado momento, quando o ciclo econômico se inverter, experenciaremos de forma mais acentuada essa escassez, que poderá comprometer ainda mais o nível de competitividade nacional.
Big Data será uma enorme oportunidade para profissionais de TI e aqueles com capacidades de análise, modelagem, cruzamento, interpretação e geração de insights de negócios relevantes para suas organizações. O perfil desses profissionais inclui a capacidade de trabalhar com técnicas quantitativas sofisticadas identificando padrões de comportamento e correlações com vistas a produzirem insights e análises preditivas.
Muitos profissionais de Big Data geralmente possuem formação em áreas como estatística, matemática aplicada e pesquisa operacional. Sendo geralmente capazes de trabalhar com ferramentas e metodologias avançadas como modelagem, data mining e programação em SAS, Python, R, Hadoop e SQL. Os volumes de dados manipulados são normalmente medidos em giga ou terabytes e incluem análises de dados estruturados ou não. As áreas de responsabilidade desses profissionais são geralmente as seguintes:
- Database marketing: análises que envolvem segmentação de clientes, efetividade de campanhas de marketing, modelos de propensão de compra (ou evasão, desistência, etc.), valor do ciclo de vida do cliente (customer lifetime value), dentre outros aspectos.
- Análise de risco de crédito: construção de modelos de risco voltados ao cliente e a empresas. Os resultados desse tipo de análise são utilizados para a previsão de perdas, o estabelecimento dos níveis de taxas de crédito, por exemplo.
- Data mining: mineração de dados não estruturados com o uso de scripts e linhas de códigos em linguagens como Python e R, por exemplo, em análises de campanhas de marketing realizadas nas mídias sociais (baseadas no processamento das informações de texto fornecidas pelos seguidores como comentários, testemunhos e críticas) e sentimento (com o objetivo de avaliar como a campanha impactou a percepção da marca e como as mensagens foram difundidas nas diferentes mídias sociais).
- Modelagem de dados de marketing: construção de modelos estatísticos de análise do comportamento de clientes com a utilização de dados de transações em diferentes pontos de contato online e off-line. Esse tipo de análise pode ser usado para alimentar modelos de precificação, reposição de produtos em gondolas, predição de recompras ou renovações de assinaturas, análise de compras efetuadas, dentre outros.
No que tange às funções gerenciais, projetos de Big Data requerem habilidades sofisticadas de profissionais qualificados e experientes. Nossas pesquisas apontam para algumas características que independem do setor de atuação ou porte da empresa:
- Experiência na gestão de projetos que envolvam diferentes áreas de negócio: nesse sentido, são essenciais aspectos como capacidade de conciliação de interesses, negociação, entendimento de necessidades divergentes (e muitas vezes opostas) e perspectiva ampla dos resultados e objetivos do projeto;
- Experiência em projetos de desenvolvimento de software: não se trata de um pré-requisito para o sucesso em Big Data, porém, um ponto bastante desejável, dadas as semelhanças entre os dois tipos de projeto;
- Conhecimentos sobre coleta, preparação, análise e distribuição de dados: experiências de gestão e/ou execução de projetos envolvendo essas atividades são cruciais, já que Big Data trata exatamente de dados, nesse caso, considerando todas as perspectivas do modelo dos 3Vs;
- Soft Skills: habilidades de colaboração, liderança, curiosidade (mentes orientadas a descoberta de novos padrões e perspectivas com embasamento e lógica);
- Foco na solução de problemas: a abordagem recomendada para projetos de Big Data é que os mesmos enfoquem problemas definidos, precisamente identificados e reconhecidos. Assim, as organizações começariam com projetos menores, com objetivos e questões claras a serem respondidas. Busca-se identificar em quais pontos a análise de dados possibilitará saltos significativos de performance. É crítico saber quais perguntas se quer responder e as decisões a serem suportadas. O mais indicado é partir inicialmente para um projeto-piloto.
- Conhecimento sobre as informações que se tem disponível: trata-se aqui da capacidade de elaboração de um mapeamento dos dados a disposição nas bases da organização. Somente com esse conhecimento será possível saber exatamente quais informações e cruzamentos serão necessários, assim como os resultados esperados com um projeto de Big Data;
- Fomento de uma cultura informacional: gestores de projetos de Big Data geralmente assumem a função de difusores de mudanças culturais relacionadas a como as pessoas lidam com as informações e reconhecem seu valor. O sucesso das iniciativas está ligado ao desenvolvimento de uma cultura organizacional que valorize a informação e a descoberta, incentivando a contribuição para o melhor uso possível deste ativo e o pensamento constante sobre o valor que pode ser extraído a partir da análise crítica e embasada.
Finalmente, chegando ao fim desta série de posts sobre Big Data, ressaltamos algumas melhores práticas adotadas de projetos adotadas no Brasil e exterior. Como comentado em um post anterior, Big Data será um dos principais diferenciais competitivos para empresas de praticamente todos os setores nos próximos anos, e será utilizado em todas as áreas de negócios com destaque para marketing, vendas, RH e finanças.
- Foco em usabilidade: lembrando que as interfaces e logica das aplicações de Big Data devem, em última instância, atender aos usuários finais. Muitos projetos desse tipo falharam, pois, a aderência dos profissionais que efetivamente utilizarão as aplicações e manipularão os dados em busca de insights foi baixa, devido a interfaces e aplicações demasiadamente complicadas de serem efetivamente utilizadas;
- Qualidade de dados: independente da sofisticação do arsenal tecnológico e corpo de profissionais envolvidos, nenhum projeto será salvo se não houver qualidade dos dados analisados (trash in, trash out). Um dos maiores desafios que as empresas enfrentam para o sucesso de projeto de Big Data é a confiança que os usuários das informações têm em sua qualidade.
- Conhecimento das diferentes ferramentas disponíveis: uma iniciativa de Big Data pode ser suportada por diferentes tecnologias, as quais podem ser mais efetivas e apropriadas para o contexto de cada organização segundo seu setor e processos específicos. É importante pesquisar criteriosamente qual conjunto de tecnologias se adequa melhor a cada realidade.
- Comprometimento de lideranças: uma estratégia empresarial que inclua a utilização de tecnologias de Big Data não se sustentará no tempo sem o comprometimento das lideranças das organizações. Como comentado anteriormente, é bastante indicado que seja cultivada uma cultura informacional. Mudanças culturais geralmente envolvem a participação de líderes para que seus resultados sejam efetivos.
A ASM continuará acompanhando o desenvolvimento do Big Data no Brasil visando contribuir para o desenvolvimento das organizações nacionais e multinacionais aqui presentes. Sabemos que o aumento da competitividade dessas organizações passará inexoravelmente pela incorporação de processos e tecnologias voltadas a acompanhar tendências com Internet of Things, Sharing Economy, Deep Learning e personalização de experiências de consumo e autosserviço.
Bruno Rossi, diretor de consultoria da ASM.
