Se passou pelo processo de projetar o seu modelo de dados conceitual e desenvolver a sua lista controlada de termos, é importante documentar a terminologia e os padrões de dados que estabeleceu para fins de gestão das suas informações. Neste artigo, apresentaremos o que é um dicionário de dados e por que ele é importante para a integridade a longo prazo do seu banco de dados.

A nossa intenção com artigo é apresentá-lo a uma maneira de pensar sobre documentar a lógica subjacente às decisões que tomou sobre o design do seu banco de dados. Embora possa parecer um passo tedioso documentar toda a terminologia e padrões de dados que escolheu, em última análise, será útil para futuros utilizadores do seu banco de dados e soluções advindas desse.

A minha motivação para escrever sobre esse tema surgiu, pois, essa semana estivemos a trabalhar num projeto de consultoria em que fizemos a migração de dados do SharePoint para o Dataverse. Isso, obviamente, tem uma série de implicações, pois precisávamos trocar todas as origens de dados de várias apps, flows e relatórios para o Dataverse. A nível de organização e otimização de tempo, criamos um dicionário de dados para nos ajudar nessa solução e implementação. Por isso, gostava de partilhar algumas dicas de como fazer um dicionário de dados eficiente.

O que é o Dataverse?

Os dados estão no centro de tudo o que uma empresa faz hoje e alimenta as ideias que podem conduzir o que deve fazer amanhã. Para prosperar e crescer, as empresas precisam de recolher, analisar, prever, apresentar e reportar dados e fazer tudo com um alto nível de agilidade.

A construção da infraestrutura de dados para permitir a visão do negócio pode ser morosa e dispendiosa. Os dados são originários de uma variedade de dispositivos, aplicações, sistemas, serviços e software como um serviço (SaaS). Este grande e crescente número de fontes consiste frequentemente em múltiplas tecnologias de dados que armazenam diferentes tipos de dados, expõem diferentes APIs e usam uma mistura de modelos de segurança. Os programadores necessários para criar estas tecnologias podem ser caros e difíceis de encontrar. Os programadores devem ter, muitas vezes, uma compreensão profunda de como implementar, configurar, gerir e integrar estas diferentes tecnologias de dados.

O Dataverse aborda estas preocupações com um serviço de dados SaaS fácil de usar, fácil de gerir, conforme, seguro, escalável e globalmente disponível. O Dataverse capacita as organizações a trabalhar com qualquer tipo de dados e qualquer tipo de aplicação, e usar os dados dentro dela para obter insights e impulsionar a ação empresarial.

Como parte da Microsoft Power Platform, o Dataverse tem três grandes centros de destaques:

1. Disponibilidade e Escalabilidade
2. Segurança
3. Conformidade

Pontos esses que nos fizeram migrar do SharePoint para o DV. Sendo a segurança o principal motivo, pois o Dataverse utiliza mecanismos de gestão de identidade e acesso de Azure Active Directory para ajudar a garantir que apenas os utilizadores autorizados possam aceder ao ambiente, dados e relatórios. E isso faz toda a diferença!

O Dataverse utiliza a segurança baseada em funções para agrupar uma coleção de privilégios. Estas funções de segurança podem ser associadas diretamente aos utilizadores, ou podem ser associadas a equipas Dataverse e unidades de negócio.

Outro motivo de bastante relevância que nos motivou a trocar foram os limites de delegação que o SharePoint possui quando se trata de aplicações. Problema esse que nos impede de fazer filtros e ordenações em tabelas com mais de 2000 linhas.

O que é um dicionário de dados?

Dicionário de dados é:

• Uma forma de se organizar
• De detalhar quais são os dados que temos
• O que eles significam e de que tipo são

Ele é, essencialmente, um livro de regras

• quais dados incluir em seu banco de dados,
• como deve ser estruturado,
• como ele deve ser inserido, e
• como deve ser acedido

Este dicionário será um repositório de nomes, definições e atributos que fornecem informações contextuais sobre os dados no seu banco de dados. O dicionário descreve cada campo de banco de dados com uma definição clara de quais informações são capturadas nesse campo e as regras para utilizar esse campo.

Quando começar a desenvolver o seu dicionário de dados e determinar os elementos que deve incluir, é importante considerar o que seria importante para alguém que não está familiarizado com o seu banco de dados saber sobre os dados mantidos dentro. Ele deve ser a ferramenta ideal para qualquer pessoa entender tudo sobre o seu conjunto de dados.

Um dicionário de dados é fundamental para a sustentabilidade de qualquer banco de dados, especialmente quando é usado por várias pessoas, como é o nosso caso aqui na Portal Gestão. Talvez saiba ler e interpretar os seus dados. No entanto, se deixasse a sua organização amanhã, outra pessoa saberia aceder, ler e interpretar os dados que faz? O seu dicionário de dados garantirá que, não importa o que aconteça, exista documentação que explicará tudo o que alguém precisa saber sobre o seu banco de dados.

Como criar um dicionário de dados?

Pode ser feito de diversas formas. Mas a forma que vou mostrar hoje é no bom e velho Excel.

Para criar um dicionário de dados, é importante primeiro considerar algumas perguntas:

1. O que cada elemento nos seus dados representa? O que está a descrever?
2. Quais são as tabelas e colunas existentes?
3. Qual o caminho (URL, por exemplo) de cada uma delas
4. Quais são as colunas com valores exclusivos?
5. Quais são as colunas com valores nulos?
6. Quais são os relacionamentos entre as tabelas? Quais são as chaves primárias?
7. Quais os valores permitidos em cada coluna
8. Esses dados estão ligados com algum flow (Power Automate) que precisará de ser alterado ?

Exemplos:

Identificação das tabelas

Coluna criadas:

1. N^o tabela
2. Nome lógico Dataverse
3. Tabela
4. Descrição
5. Link SharePoint
6. Link Dataverse
7. Relacionamentos
8. Anotações

Flows Utilizados

1. N^º flow
2. Nome do flow
3. Link
4. Objetivo do flow

Ambientes no Power Apps

1. Ambiente
2. Solução
3. Link

Colunas

1. N^º da tabela
2. Nome da tabela
3. Nome da coluna
4. Descrição
5. Valores permitidos
6. Alternate Key (usado para a modelagem dos dados)
7. Permite valores exclusivos?
8. Possui valores nulos?
9. Choices (coluna no DV)
10. Link da tabela
11. Regras de negócios
12. Anotações
13. Nome da coluna no SharePoint
14. Nome lógico da coluna no Dataverse (útil para fazer a programação no Power Apps e no Power Automate)

Coluna a apagar no Dataverse

1. N^º da tabela
2. Nome da tabela
3. Coluna
4. Nome da coluna no esquema do Dataverse
5. Nome lógico da coluna no Dataverse
6. Motivo para apagar

Relacionamentos

1. N^º da tabela 1
2. Nome da tabela 1
3. Nome da coluna 1
4. Modelagem da coluna 1
5. Modelagem da coluna 2
6. Nome da coluna 2
7. Nome da tabela 2
8. N^º da tabela 2
9. Link do relacionamento no Dataverse
10. URL do modelo no site draw-io

Costumamos utilizar o site https://app.diagrams.net/ para fazer a modelagem dos dados. Aliás, num processo normal de construção de apps, esse é um dos primeiros passos que utilizamos: definir a modelagem dos dados. Dessa forma, temos de forma clara, quais são as tabelas que vamos precisar, quais as colunas, os tipos de relacionamentos, as chaves primárias e os tipos dos dados.

Considerações finais

Catalogar as tabelas e colunas de uma empresa nem sempre é tarefa fácil, no entanto, quando feita, torna-se uma grande mais-valia para qualquer empresa.

Tendo em vista:

• a comunicação entre colaboradores que entram e saem das empresas,
• a transparência no significado e terminologias de diferentes departamentos (trabalho integrado entre equipas)
• gestão dos dados e a sua governança.

Mantenha o dicionário de dados da sua empresa sempre atualizado e verá os benefícios disso.

Vemo-nos nos próximos artigos.