Engenharia de dados: por que a sua empresa precisa dela?

0

No processo de definição de uma estratégia de negócios consistente e orientada a dados, muitas vezes, os conceitos de ciência e de engenharia de dados são considerados, erroneamente, sinônimos. A verdade é que o primeiro atua na ponta, próximo ao usuário final; enquanto o segundo opera mais próximo da base, da infraestrutura e, por isso, é algumas vezes considerado menos glamouroso e acaba sendo, frequentemente, negligenciado.

No entanto, enquanto a ciência de dados requer inteligência e capacidade para fazer análises consolidadas, fornecendo prognósticos para o desenvolvimento do negócio, a engenharia de dados é parte fundamental no processo de extração de valor das bases de dados – na maioria das vezes, rústicas e proveniente de diversas fontes. De maneira prática, se não houver um bom processo na área, a ciência de dados não consegue exercer o seu papel.

É o caso da empresa que investe apenas na parte analítica e deixa a engenharia de dados para um segundo momento: ao iniciar o projeto para verificação e diagnóstico, a equipe interna conclui que a consolidação dos dados, usando os métodos tradicionais, levará anos para ser finalizada, inviabilizando todo o projeto. Um estudo de tecnologia e metodologia – um dos principais ativos da engenharia de dados – encurtaria o ciclo e extrairia valor de maneira muito mais ágil e os transformaria, efetivamente, em uma base refinada e passível de exploração, com foco no desenvolvimento do negócio.

Como destaca a analista Michele Goetz, da Forrester, no estudo "Data engineers will be more important than data scientists" (Os engenheiros de dados serão mais importantes do que os cientistas de dados, em tradução livre), "a engenharia de dados aproveita a estratégia e os planos de investimento desenvolvidos pelos arquitetos de dados; adotam e ativam políticas de governança de dados; e garantem que as informações e o investimento analítico obtenham seu retorno completo".

A engenharia de dados deve ser reconhecida pelo seu verdadeiro peso e valor. É hora de sair das discussões etéreas sobre o tema e, com o perdão do clichê, colocar a mão nos dados.

Marcelo Sales, diretor de Produtos e Soluções da Hitachi Vantara LATAM.

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.