Na AWS re:Invent, a Amazon Web Services Inc. (AWS) anunciou hoje o Amazon DataZone, um novo serviço de gerenciamento de dados que torna mais rápido e fácil para os clientes catalogar, descobrir, compartilhar e controlar dados armazenados na AWS, no local e em fontes de terceiros. Com o Amazon DataZone, os administradores e administradores de dados que supervisionam os ativos de dados de uma organização podem gerenciar e controlar o acesso aos dados usando controles refinados para garantir que eles sejam acessados ??com o nível certo de privilégios e no contexto certo. O Amazon DataZone facilita que engenheiros, cientistas de dados, gerentes de produtos, analistas e usuários corporativos acessem dados em toda a organização para que possam descobrir, usar e colaborar com dados para obter insights.
As organizações hoje coletam petabytes, e até mesmo exabytes, de dados espalhados por vários departamentos, serviços, bancos de dados locais e fontes de terceiros (por exemplo, soluções de parceiros e conjuntos de dados públicos). Antes que as organizações possam aproveitar todo o valor desses dados, os administradores e administradores de dados (ou seja, produtores de dados) que geram e gerenciam os dados precisam torná-los acessíveis, mantendo ao mesmo tempo o controle e a governança para garantir que só possam ser acessados ??pela pessoa certa e em o contexto certo.
Simultaneamente, os funcionários de toda a empresa (ou seja, consumidores de dados) desejam descobrir e analisar informações dos produtores de dados para orientar a sua tomada de decisão. As organizações devem equilibrar a necessidade de controle, para garantir que os dados permaneçam seguros, com a necessidade de acesso, para gerar novos insights, mas é um desafio implementar políticas de governança que levem em conta a variedade de dados, departamentos e casos de uso em uma organização .
Algumas empresas criam catálogos para organizar suas informações, mas a manutenção desses sistemas é demorada, exige que os produtores de dados rotulem manualmente cada conjunto de dados com contexto adicional (por exemplo, origem e descrição) para torná-lo detectável e não possuem controles de acesso integrados para tornar governança simples.
As organizações também lutam para impor uma taxonomia de dados consistente, e os produtores de dados individuais devem manter as suas próprias informações sincronizadas, o que dificulta a pesquisa de dados em uma organização e pode fazer com que as informações se tornem obsoletas. Mesmo que um consumidor de dados encontre as informações de que precisa, ele não terá uma maneira simples de solicitar acesso do proprietário diretamente do catálogo, de carregar os dados em serviços de análise e de colaborar com outras pessoas. Como resultado, os decisores não conseguem obter a informação de que necessitam em tempo útil ou podem tomar decisões erradas com base em dados incompletos ou desatualizados.
O Amazon DataZone é um novo serviço de gerenciamento de dados que facilita aos produtores de dados gerenciar e controlar o acesso aos dados e permite que os consumidores de dados descubram, usem e colaborem com os dados para gerar insights de negócios. Os produtores de dados usam o portal web do Amazon DataZone para configurar seu próprio catálogo de dados de negócios, definindo sua taxonomia de dados, configurando políticas de governança e conectando-se a uma variedade de serviços da AWS (por exemplo, Amazon S3 e Amazon Redshift), soluções de parceiros (por exemplo, Salesforce e ServiceNow) e sistemas locais.
O Amazon DataZone elimina o trabalho pesado de manter um catálogo usando machine learning para coletar e sugerir metadados (por exemplo, origem e tipo de dados) para cada conjunto de dados e treinando a taxonomia e as preferências de um cliente para melhorar ao longo do tempo. Depois que o catálogo for configurado, os consumidores de dados poderão usar o portal web Amazon DataZone para pesquisar e descobrir ativos de dados, examinar metadados em busca de contexto e solicitar acesso a conjuntos de dados.
Quando um consumidor de dados está pronto para começar a analisar dados, ele cria um Amazon DataZone Data Project — um espaço compartilhado no portal da web onde os usuários podem obter diferentes conjuntos de dados, compartilhar o acesso com colegas e colaborar na análise. O Amazon DataZone é integrado aos serviços de análise da AWS, como Amazon Redshift, Amazon Athena e Amazon QuickSight, o que permite que os consumidores de dados acessem esses serviços no contexto de seu projeto de dados, para que não precisem gerenciar credenciais de login e seus dados separados. está automaticamente disponível nesses serviços. O Amazon DataZone também fornece interfaces de programação de aplicativos (APIs) para integração com soluções personalizadas ou parceiros como DataBricks, Snowflake e Tableau, para que os clientes possam publicar, pesquisar e trabalhar facilmente com todos os seus ativos de dados.
"A boa governança é a base que torna os dados acessíveis a toda a organização, mas frequentemente ouvimos dos clientes que é difícil encontrar o equilíbrio certo entre tornar os dados detectáveis ??e manter o controle", disse Swami Sivasubramanian, vice-presidente de Bancos de Dados, Análise, e aprendizado de máquina na AWS. "Com o Amazon DataZone, os clientes podem usar um único serviço que equilibra fortes controles de governança com acesso simplificado para facilitar a localização, organização e colaboração com dados. O Amazon DataZone libera dados em toda a organização, para que cada funcionário possa ajudar a gerar novos insights para maximizar seu valor."
Itaú
"Ser orientado por dados é um dos nossos principais objetivos corporativos, mas temos que equilibrar constantemente o acesso aos dados com nossas políticas de governança e conformidade em todo o uso dos serviços de análise da AWS, o que dificulta a movimentação rápida das equipes", disse Roberto Figueira , head da Plataforma de Engenharia de Dados e Analytics do Itaú Unibanco. "Estamos entusiasmados em testar o Amazon DataZone porque ele simplificará a governança de dados e tornará o acesso aos dados entre unidades de negócios muito mais fácil. Com o Amazon DataZone, poderemos configurar de forma rápida e fácil um acesso refinado para equipes de analistas, engenheiros e cientistas de dados experimentarem hipóteses de dados em vários casos de uso de negócios."
