Data Mesh é uma arquitetura de dados que visa criar uma autoridade central compartilhada para dados em uma organização.
Ele busca criar uma cultura e governança em torno de dados que permitem equipes autônomas e de autoatendimento e as capacita a colaborar e inovar usando dados. Vamos entender o que é o Data Mesh.
últimas postagens
O que é malha de dados?
Em palavras simples, o Data Mesh é uma arquitetura descentralizada para gerenciamento de dados dentro de uma organização, o que significa que foi projetada para dar controle e propriedade dos dados às equipes que os utilizam, em vez de centralizá-los em um único grupo ou departamento.
Ele enfatiza a importância dos dados como um ativo essencial. Ele foi projetado para ajudar as organizações a obter melhor governança de dados, qualidade de dados e integração de dados, ao mesmo tempo em que promove uma cultura de tomada de decisões orientada por dados.
Arquitetura de malha de dados
Uma arquitetura Data Mesh geralmente inclui três componentes principais: fontes de dados, infraestrutura e pipelines de dados orientados ao domínio gerenciados por proprietários funcionais.
Crédito da imagem: Microsoft
Esses três componentes estão interconectados e integrados, em vez de serem silos isolados de dados. Em uma arquitetura Data Mesh, as equipes são responsáveis pelos dados que usam, incluindo sua qualidade, acesso e segurança.
Essa abordagem descentralizada ajuda a garantir que os dados sejam usados de forma eficaz e que as equipes tenham as informações necessárias para tomar decisões informadas. Também promove uma cultura de tomada de decisão baseada em dados, tornando os dados mais acessíveis, transparentes e confiáveis.
Etapas necessárias para projetar uma arquitetura de malha de dados
Para implementar a malha de dados dentro de uma organização, as seguintes etapas podem ser seguidas:
#1. Identificar domínios de negócios
A primeira etapa na implementação da malha de dados é identificar os domínios de negócios dentro da organização. Essas são as áreas do negócio responsáveis por entregar valor aos clientes. Cada domínio de negócios deve ter um proprietário claro que seja responsável pelos dados usados nesse domínio.
#2. Estabeleça governança de dados
Uma estrutura clara de governança de dados deve ser estabelecida para garantir que os dados sejam usados de forma responsável e ética. Isso inclui estabelecer funções e responsabilidades para o gerenciamento de dados, definir padrões para qualidade e precisão dos dados e definir processos para acesso e uso de dados.
#3. Definir a propriedade dos dados
Cada domínio de negócios deve ser responsável pelos dados que usa, incluindo sua qualidade e precisão. Isto significa que o domínio do negócio deve estar envolvido na criação e manutenção dos dados, bem como na sua utilização e divulgação.
#4. Promova a alfabetização de dados
Para permitir que os funcionários tomem decisões informadas com base em dados, é importante promover a alfabetização de dados dentro da organização. Isso pode ser feito por meio de programas de treinamento e educação, bem como fornecendo acesso a ferramentas e recursos que permitem que os funcionários trabalhem com dados.
#5. Democratize o acesso aos dados
A malha de dados promove a democratização dos dados, o que significa que os dados devem ser acessíveis a todos os funcionários. Isso pode ser feito fornecendo ferramentas e recursos que permitem que os funcionários acessem e usem dados de toda a organização.
#6. Implementar operações de dados
Para garantir que os dados sejam gerenciados e mantidos adequadamente, é importante implementar processos e práticas para operações de dados. Isso inclui tarefas como ingestão de dados, transformação de dados e armazenamento e recuperação de dados.
Princípios da malha de dados
A malha de dados é implementada por meio de um conjunto de princípios e práticas que visam criar uma cultura de tomada de decisão baseada em dados e permite que os funcionários acessem e usem dados de toda a organização com mais facilidade.
Esses quatro princípios incluem:
Crédito da imagem: altexsoft
#1. Propriedade e arquitetura de dados descentralizados orientados para o domínio
Esse princípio enfatiza a importância de organizar os dados em torno dos domínios de negócios, com cada unidade de negócios responsável pelos dados que usa e pela qualidade desses dados. Isso ajuda a garantir que os dados estejam alinhados com as necessidades da empresa e de seus clientes e permite que as unidades de negócios acessem e usem dados de outras partes da organização com mais facilidade.
#2. Dados como um produto
Esse princípio trata os dados como um ativo valioso que deve ser gerenciado e administrado como um produto. Isso inclui definir produtos de dados, estabelecer equipes de produtos de dados e criar um roteiro de produtos de dados.
#3. Infraestrutura de dados de autoatendimento como uma plataforma
Ele incentiva a criação de um modelo de autoatendimento para dados, onde as unidades de negócios têm mais controle sobre os dados que usam e podem acessar e usar dados de outras partes da organização com mais facilidade.
#4. Governança computacional federada
Esse princípio estabelece uma estrutura para governança de dados que leva em consideração as necessidades e metas de várias partes interessadas, incluindo unidades de negócios, TI e cientistas de dados. Essa abordagem ajuda a garantir que os dados sejam usados de forma responsável e ética e promove a alfabetização de dados e a tomada de decisão baseada em dados dentro da organização.
Importância da malha de dados
Existem várias razões pelas quais uma organização pode considerar a adoção de malha de dados:
Melhor qualidade e precisão dos dados
Ao organizar dados em torno de domínios de negócios e estabelecer propriedade e governança claras, a malha de dados pode ajudar a melhorar a qualidade e a precisão dos dados dentro de uma organização. Isso pode ajudar a garantir que os dados estejam alinhados com as necessidades da empresa e de seus clientes e possam dar suporte a uma tomada de decisão mais informada.
Acessibilidade e usabilidade de dados aprimoradas
A malha de dados promove a democratização dos dados, o que significa que os dados devem ser acessíveis a todos os funcionários. Isso pode ser feito fornecendo ferramentas e recursos que permitem que os funcionários acessem e usem dados de toda a organização. Ao permitir que os funcionários acessem e usem dados com mais facilidade, a malha de dados pode ajudar a melhorar a alfabetização de dados e a tomada de decisões orientada por dados dentro da organização.
Maior controle sobre os dados
Com a malha de dados, as unidades de negócios têm mais controle sobre os dados que usam e a qualidade desses dados. Isso pode ajudar a garantir que os dados estejam alinhados com as necessidades do negócio e possam ser acessados e usados com mais facilidade pelas pessoas que precisam deles.
Melhor governança de dados
A malha de dados promove o estabelecimento de estruturas claras de governança de dados que ajudam a garantir que os dados sejam usados de forma responsável e ética. Isso inclui estabelecer funções e responsabilidades para o gerenciamento de dados, definir padrões para qualidade e precisão dos dados e definir processos para acesso e uso de dados.
No geral, a adoção da malha de dados pode ajudar as organizações a aproveitar mais seus ativos de dados e promover uma cultura de tomada de decisão baseada em dados.
Data Mesh vs. Data Lake
A malha de dados e o data lake têm várias diferenças em termos de foco, organização de dados, ênfase na governança e alfabetização de dados e abordagem para acesso e uso de dados.
Aqui está uma comparação de malha de dados e data lake em um formulário tabular:
Data MeshData LakeFoco nas necessidades da empresa e de seus clientes Foco em aspectos técnicos de armazenamento e processamento de dadosOrganiza dados em torno de domínios de negóciosOrganiza dados em uma estrutura hierárquica de arquivosOs dados são de propriedade e administrados por unidades de negóciosOs dados podem ser acessados por vários departamentos ou equipesEnfatiza a governança de dados e a alfabetização de dados não se concentra necessariamente na governança de dados ou na alfabetização de dados Possibilita uma cultura de tomada de decisão baseada em dados Fornece um repositório centralizado para armazenar e processar dados Encoraja o acesso a dados de autoatendimento Pode exigir intervenção de TI para acessar e usar dados Promove a democratização dos dados Pode ter acesso limitado aos dados devido à segurança ou Preocupações com a privacidade Segue princípios de design orientado a domínio Não segue uma estrutura de design específica Envolve processos e práticas de operações de dados Pode não ter processos específicos para operações de dados Pode exigir mais planejamento e design iniciais Pode ser mais flexível e permitir armazenamento de dados ad hoc idade e processamento
Um data lake é um repositório central que permite armazenar todos os seus dados estruturados e não estruturados em qualquer escala. É um local para armazenar dados em sua forma bruta e granular antes que qualquer processamento ou transformação ocorra. Isso permite que as organizações armazenem e analisem dados de forma mais flexível e econômica do que os armazéns de dados tradicionais.
Considerando que a malha de dados é projetada para capacitar as equipes a possuir e gerenciar seus próprios dados, em vez de depender de um grupo centralizado para gerenciar dados para eles.
Recursos de aprendizado de malha de dados
Existem muitos recursos disponíveis on-line para aprender sobre malha de dados, e pode ser difícil tentar encontrar os mais úteis. Aprender a malha de dados da maneira certa é importante para garantir que você tenha uma compreensão sólida dos conceitos e possa aplicá-los efetivamente em seu trabalho.
Esses recursos podem fornecer uma base para a compreensão dos princípios e práticas da malha de dados e podem ajudá-lo a desenvolver as habilidades necessárias para gerenciar e analisar dados em um ambiente de malha de dados com eficiência.
#1. Data Mesh – Um conceito moderno de gerenciamento de dados descentralizado
Neste curso da Udemy, o instrutor aborda os fundamentos da arquitetura de malha de dados para gerenciamento de dados eficaz. E também fornece vários estudos de caso sobre implementação de malha de dados.
É possível concluir este curso na Udemy em uma semana, dependendo da sua agenda e do tempo que você pode dedicar ao curso. No entanto, é importante ter em mente que o curso foi desenvolvido para fornecer uma visão abrangente da malha de dados e, como tal, pode exigir mais tempo para entender e absorver o material totalmente.
#2. Data Mesh: A masterclass completa
Para indivíduos que buscam aprimorar suas profissões, este curso de malha de dados é excelente. Este curso cobre cada tópico relacionado ao projeto de uma malha de dados e arquitetura de produto de dados,
Ao final deste curso, você será capaz de implementar o conceito de malha de dados em empresas do mundo real. Nenhum conhecimento prévio necessário sobre malha de dados é necessário para começar com este curso,
#3. Malha de dados: oferecendo valor baseado em dados em escala
Este livro apresenta o conceito de malha de dados e fornece uma visão geral clara de como projetar uma arquitetura de malha de dados e um guia para estratégia e execução de malha de dados.
Muitos revisores consideraram o livro um guia útil e prático para entender os princípios e padrões da malha de dados e para implementá-la nas organizações.
Conclusão
A malha de dados é um padrão de design e uma estrutura cultural para a construção de uma organização orientada por dados. Baseia-se na ideia de criar uma “fonte única de verdade” para dados dentro de uma organização e promover o conceito de dados como um produto.
Isso é alcançado por meio do uso de governança de dados descentralizada, na qual equipes multifuncionais são responsáveis pela qualidade, disponibilidade e manutenção dos dados em seu domínio.
A malha de dados também enfatiza a importância de estabelecer um entendimento claro dos contratos de dados entre diferentes equipes e incentiva o uso de ferramentas e plataformas de descoberta de dados para facilitar o compartilhamento de dados dentro da organização.
Espero que você tenha achado este artigo útil para aprender sobre a malha de dados e seus princípios. Você também pode estar interessado em aprender sobre virtualização de dados.