Sou um grande fã do blog do Matthew Devaney sobre Power Apps, Power Automate e tudo sobre o desenvolvimento com a plataforma Power. O seu post mais recente, The fastest way to read large Excel table in Power Automate, chamou a minha atenção imediatamente, porque terminámos recentemente um projeto para um cliente em que esta funcionalidade é crucial. Analisei a técnica do Matthew, e implementei-a, mesmo que requeira um conector Premium para correr o flow.

Neste post, vou partilhar uma versão simplificada do flow, sem o conector Premium, mas com um pequeno script do Office Scripts, que faz precisamente o mesmo trabalho. O resultado final não é tão rápido como o do Matthew, mas funciona - e abre uma nova porta a muitas novas funcionalidades na automação do Excel!

O VBA (Visual Basic for Applications) foi criado em 1993 pela Microsoft e integrado na versão 5 do Excel (quem se lembra!?). Desde então, milhões de utilizadores em todo o mundo procuram automatizar tarefas repetitivas no Excel, transformando, muitas vezes, o Excel em aplicações que servem os mais diversos fins (alguns, bastante engraçados!). 30 anos depois, o VBA para Excel continua vivo e com legiões de entusiásticos seguidores e alguns processos críticos em algumas empresas continuam a depender do mesmo.

If you've gone through the process of designing your conceptual data model and developing your controlled list of terms, it's important to document the terminology and data standards you've established for the purposes of managing your information. In this article, we'll introduce you to what a data dictionary is and why it's important for the long-term integrity of your database.

Our intention with this article is to introduce you to a way of thinking about documenting the logic behind the decisions you've made about the design of your database. Although it may seem like a tedious step to document all the terminology and data patterns you've chosen, it will ultimately be useful for future users of your database and the solutions that come from it.

I was motivated to write about this topic because this week we've been working on a consultancy project in which we've migrated data from SharePoint to Dataverse. This obviously has a number of implications, as we needed to switch all the data sources from various apps, flows and reports to Dataverse. In terms of organisation and time optimisation, we created a data dictionary to help us with this solution and implementation. So I'd like to share some tips on how to make an efficient data dictionary.

What’s Dataverse?

Data is at the centre of everything a company does today and fuels the ideas that can drive what it should do tomorrow. To thrive and grow, companies need to collect, analyse, predict, present and report data and do it all with a high level of agility.

Building the data infrastructure to enable business insight can be time-consuming and costly. Data originates from a variety of devices, applications, systems, services and software as a service (SaaS). This large and growing number of sources often consists of multiple data technologies that store different types of data, expose different APIs, and use a mixture of security models. The programmers needed to create these technologies can be expensive and difficult to find. Programmers must often have an in-depth understanding of how to implement, configure, manage, and integrate these different data technologies.

Dataverse addresses these concerns with an easy-to-use, easy-to-manage, compliant, secure, scalable, and globally available SaaS data service. Dataverse empowers organisations to work with any type of data and any type of application and use the data within it to gain insights and drive business action.

As part of the Microsoft Power Platform, Dataverse has three main centres of focus:

1. Availability and Scalability
2. Security
3. Compliance

These were the points that made us migrate from SharePoint to Dataverse. The main reason being security, as Dataverse uses Azure Active Directory identity and access management mechanisms to help ensure that only authorised users can access the environment, data, and reports. And that makes all the difference!

Dataverse uses role-based security to group together a collection of privileges. These security roles can be associated directly with users, or they can be associated with Dataverse teams and business units.

Another very important reason that motivated us to switch was the delegation limits that SharePoint has when it comes to applications. This problem prevents us from filtering and sorting tables with more than 2000 rows.

What’s a data dictionary?

A data dictionary is:

• A way of organising
• Detailing what data, we have
• What they mean and what type they’re

It’s essentially a rule book:

• what data to include in your database,
• how it should be structured,
• how it should be entered, and
• how it should be accessed

This dictionary will be a repository of names, definitions and attributes that provide contextual information about the data in your database. The dictionary describes each database field with a clear definition of what information is captured in that field and the rules for using that field.

When you start to develop your data dictionary and determine the elements you should include, it's important to consider what would be important for someone unfamiliar with your database to know about the data held within. It should be the ideal tool for anyone to understand everything about your dataset.

A data dictionary is fundamental to the sustainability of any database, especially when it is used by several people, as is our case here at Portal Gestão. You may know how to read and interpret your data. However, if you left your organisation tomorrow, would someone else know how to access, read, and interpret the data you do? Your data dictionary will ensure that, no matter what happens, there is documentation that will explain everything anyone needs to know about your database.

How to create a data dictionary?

It can be done in various ways. But the way I'm going to show you today’s in good old Excel.

To create a data dictionary, it's important to first consider a few questions:

1. What does each element in your data represent? What is it describing?
2. What tables and columns exist?
3. What’s the path (URL, for example) to each of them?
4. Which columns have unique values?
5. Which columns have null values?
6. What are the relationships between the tables? What are the primary keys?
7. What values are allowed in each column?
8. Is this data linked to any flow (Power Automate) that needs to be changed?

Examples:

Identification of tables

Column created:

1. Table number
2. Dataverse logical name
3. Table
4. Description
5. SharePoint link
6. Dataverse link
7. Relationships
8. Annotations

Flows created

1. Flow number
2. Flow name
3. Link
4. Flow objective

Environments in Power Apps

1. Environmen
2. Solution
3. Link

Columns

1. Table number
2. Table name
3. Column name
4. Description
5. Allowed values
6. Alternate Key (used for data modelling)
7. Do you allow unique values?
8. Does it have null values?
9. Choices (column in Dataverse)
10. Table link
11. Business rules
12. Annotations
13. Column name in SharePoint
14. Logical column name in Dataverse (useful for programming in Power Apps and Power Automate)

Column to delete in Dataverse

1. Table number
2. Table name
3. Column
4. Name of the column in the Dataverse schema
5. Logical name of the column in Dataverse
6. Reason for deletion

Relationship

1. Table number 1
2. Name of table 1
3. Name of column 1
4. Modelling of column 1
5. Modelling column 2
6. Name of column 2
7. Name of table 2
8. No. of table 2
9. Relationship link in Dataverse
10. URL of the model on the draw-io

We usually use the website https://app.diagrams.net/ to do the data modelling. In fact, in a normal app-building process, this is one of the first steps we take: defining the data modelling. This way, we have a clear idea of which tables we'll need, which columns, the types of relationships, the primary keys and the data types.

Final considerations

Cataloguing a company's tables and columns is not always an easy task, but when it is done, it becomes a great asset for any company.

With a view to:

• Communication between employees entering and leaving companies,
• Transparency in the meaning and terminology of different departments (integrated work between teams)
• Data management and governance.

Keep your company's data dictionary up to date and you'll see the benefits.

See you in the next articles.

Se passou pelo processo de projetar o seu modelo de dados conceitual e desenvolver a sua lista controlada de termos, é importante documentar a terminologia e os padrões de dados que estabeleceu para fins de gestão das suas informações. Neste artigo, apresentaremos o que é um dicionário de dados e por que ele é importante para a integridade a longo prazo do seu banco de dados.

A nossa intenção com artigo é apresentá-lo a uma maneira de pensar sobre documentar a lógica subjacente às decisões que tomou sobre o design do seu banco de dados. Embora possa parecer um passo tedioso documentar toda a terminologia e padrões de dados que escolheu, em última análise, será útil para futuros utilizadores do seu banco de dados e soluções advindas desse.

A minha motivação para escrever sobre esse tema surgiu, pois, essa semana estivemos a trabalhar num projeto de consultoria em que fizemos a migração de dados do SharePoint para o Dataverse. Isso, obviamente, tem uma série de implicações, pois precisávamos trocar todas as origens de dados de várias apps, flows e relatórios para o Dataverse. A nível de organização e otimização de tempo, criamos um dicionário de dados para nos ajudar nessa solução e implementação. Por isso, gostava de partilhar algumas dicas de como fazer um dicionário de dados eficiente.

O que é o Dataverse?

Os dados estão no centro de tudo o que uma empresa faz hoje e alimenta as ideias que podem conduzir o que deve fazer amanhã. Para prosperar e crescer, as empresas precisam de recolher, analisar, prever, apresentar e reportar dados e fazer tudo com um alto nível de agilidade.

A construção da infraestrutura de dados para permitir a visão do negócio pode ser morosa e dispendiosa. Os dados são originários de uma variedade de dispositivos, aplicações, sistemas, serviços e software como um serviço (SaaS). Este grande e crescente número de fontes consiste frequentemente em múltiplas tecnologias de dados que armazenam diferentes tipos de dados, expõem diferentes APIs e usam uma mistura de modelos de segurança. Os programadores necessários para criar estas tecnologias podem ser caros e difíceis de encontrar. Os programadores devem ter, muitas vezes, uma compreensão profunda de como implementar, configurar, gerir e integrar estas diferentes tecnologias de dados.

O Dataverse aborda estas preocupações com um serviço de dados SaaS fácil de usar, fácil de gerir, conforme, seguro, escalável e globalmente disponível. O Dataverse capacita as organizações a trabalhar com qualquer tipo de dados e qualquer tipo de aplicação, e usar os dados dentro dela para obter insights e impulsionar a ação empresarial.

Como parte da Microsoft Power Platform, o Dataverse tem três grandes centros de destaques:

1. Disponibilidade e Escalabilidade
2. Segurança
3. Conformidade

Pontos esses que nos fizeram migrar do SharePoint para o DV. Sendo a segurança o principal motivo, pois o Dataverse utiliza mecanismos de gestão de identidade e acesso de Azure Active Directory para ajudar a garantir que apenas os utilizadores autorizados possam aceder ao ambiente, dados e relatórios. E isso faz toda a diferença!

O Dataverse utiliza a segurança baseada em funções para agrupar uma coleção de privilégios. Estas funções de segurança podem ser associadas diretamente aos utilizadores, ou podem ser associadas a equipas Dataverse e unidades de negócio.

Outro motivo de bastante relevância que nos motivou a trocar foram os limites de delegação que o SharePoint possui quando se trata de aplicações. Problema esse que nos impede de fazer filtros e ordenações em tabelas com mais de 2000 linhas.

O que é um dicionário de dados?

Dicionário de dados é:

• Uma forma de se organizar
• De detalhar quais são os dados que temos
• O que eles significam e de que tipo são

Ele é, essencialmente, um livro de regras

• quais dados incluir em seu banco de dados,
• como deve ser estruturado,
• como ele deve ser inserido, e
• como deve ser acedido

Este dicionário será um repositório de nomes, definições e atributos que fornecem informações contextuais sobre os dados no seu banco de dados. O dicionário descreve cada campo de banco de dados com uma definição clara de quais informações são capturadas nesse campo e as regras para utilizar esse campo.

Quando começar a desenvolver o seu dicionário de dados e determinar os elementos que deve incluir, é importante considerar o que seria importante para alguém que não está familiarizado com o seu banco de dados saber sobre os dados mantidos dentro. Ele deve ser a ferramenta ideal para qualquer pessoa entender tudo sobre o seu conjunto de dados.

Um dicionário de dados é fundamental para a sustentabilidade de qualquer banco de dados, especialmente quando é usado por várias pessoas, como é o nosso caso aqui na Portal Gestão. Talvez saiba ler e interpretar os seus dados. No entanto, se deixasse a sua organização amanhã, outra pessoa saberia aceder, ler e interpretar os dados que faz? O seu dicionário de dados garantirá que, não importa o que aconteça, exista documentação que explicará tudo o que alguém precisa saber sobre o seu banco de dados.

Como criar um dicionário de dados?

Pode ser feito de diversas formas. Mas a forma que vou mostrar hoje é no bom e velho Excel.

Para criar um dicionário de dados, é importante primeiro considerar algumas perguntas:

1. O que cada elemento nos seus dados representa? O que está a descrever?
2. Quais são as tabelas e colunas existentes?
3. Qual o caminho (URL, por exemplo) de cada uma delas
4. Quais são as colunas com valores exclusivos?
5. Quais são as colunas com valores nulos?
6. Quais são os relacionamentos entre as tabelas? Quais são as chaves primárias?
7. Quais os valores permitidos em cada coluna
8. Esses dados estão ligados com algum flow (Power Automate) que precisará de ser alterado ?

Exemplos:

Identificação das tabelas

Coluna criadas:

1. N^o tabela
2. Nome lógico Dataverse
3. Tabela
4. Descrição
5. Link SharePoint
6. Link Dataverse
7. Relacionamentos
8. Anotações

Flows Utilizados

1. N^º flow
2. Nome do flow
3. Link
4. Objetivo do flow

Ambientes no Power Apps

1. Ambiente
2. Solução
3. Link

Colunas

1. N^º da tabela
2. Nome da tabela
3. Nome da coluna
4. Descrição
5. Valores permitidos
6. Alternate Key (usado para a modelagem dos dados)
7. Permite valores exclusivos?
8. Possui valores nulos?
9. Choices (coluna no DV)
10. Link da tabela
11. Regras de negócios
12. Anotações
13. Nome da coluna no SharePoint
14. Nome lógico da coluna no Dataverse (útil para fazer a programação no Power Apps e no Power Automate)

Coluna a apagar no Dataverse

1. N^º da tabela
2. Nome da tabela
3. Coluna
4. Nome da coluna no esquema do Dataverse
5. Nome lógico da coluna no Dataverse
6. Motivo para apagar

Relacionamentos

1. N^º da tabela 1
2. Nome da tabela 1
3. Nome da coluna 1
4. Modelagem da coluna 1
5. Modelagem da coluna 2
6. Nome da coluna 2
7. Nome da tabela 2
8. N^º da tabela 2
9. Link do relacionamento no Dataverse
10. URL do modelo no site draw-io

Costumamos utilizar o site https://app.diagrams.net/ para fazer a modelagem dos dados. Aliás, num processo normal de construção de apps, esse é um dos primeiros passos que utilizamos: definir a modelagem dos dados. Dessa forma, temos de forma clara, quais são as tabelas que vamos precisar, quais as colunas, os tipos de relacionamentos, as chaves primárias e os tipos dos dados.

Considerações finais

Catalogar as tabelas e colunas de uma empresa nem sempre é tarefa fácil, no entanto, quando feita, torna-se uma grande mais-valia para qualquer empresa.

Tendo em vista:

• a comunicação entre colaboradores que entram e saem das empresas,
• a transparência no significado e terminologias de diferentes departamentos (trabalho integrado entre equipas)
• gestão dos dados e a sua governança.

Mantenha o dicionário de dados da sua empresa sempre atualizado e verá os benefícios disso.

Vemo-nos nos próximos artigos.

Qual deles você deve usar?

Como profissional de finanças, você provavelmente usa o Excel para análise de dados e geração de relatórios.

No entanto, desde alguns anos, há um novo “jogador na cidade”: PowerBI.

O Excel é ótimo para organizar e manipular dados, mas tem suas limitações quando se trata de visualizar dados e criar painéis interativos.

É aí que entra o Power BI.

Então, qual você deve usar? Aqui estão os prós e contras de cada um e os passos práticos para aproveitar ao máximo cada ferramenta:

🗂Excel:

 ➕Prós:

• Familiaridade e facilidade de uso
• Flexibilidade para criar planilhas personalizadas
• Capacidade de usar fórmulas e funções complexas

 ➖Contras:

• Capacidade limitada de criar painéis dinâmicos e interativos
• Recursos limitados de modelagem de dados
• Grandes conjuntos de dados podem causar problemas de desempenho

🏆Passos práticos para tirar o melhor proveito disso:

• Aprenda funções e técnicas avançadas do Excel, como tabelas dinâmicas, segmentações e gráficos para organizar e manipular dados.
• Crie planilhas personalizadas e use formatação condicional para destacar visualmente tendências e anomalias de dados.
• Use suplementos do Excel, como Power Query, para extrair e transformar dados de várias fontes e Power Pivot para modelagem de dados.

 📊Power BI:

➕Prós:

•  Poderosas capacidades de visualização e geração de relatórios
• Self-service
• Capacidade de se conectar a várias fontes de dados
• Dashboards interativos e dinâmicos
• O PowerBI parece ter sido feito para empresas.
• Gráficos/relatórios do Power BI podem ser partilhados via PDF ou PowerPoint com alguém fora da sua empresa. Mesmo alguns cálculos no Power BI podem ser enviados de volta para o Excel após algum processamento rápido.

➖Contras:

•  Curva de aprendizado íngreme para iniciantes
• Capacidade limitada de manipular dados
• As funcionalidades avançadas requerem uma assinatura paga
• A restrição de e-mail, não pode ser compartilhado se você estiver usando gmail, hotmail ou yahoo. A realidade é que muitos utilizadores e pequenas empresas os usam para e-mail.

🏆Passos práticos para tirar o melhor proveito disso:

• Aprenda os fundamentos do Power BI, como conectar-se a fontes de dados, criar modelos de dados e criar relatórios.
• Use as ferramentas de visualização do Power BI para criar painéis interativos que permitem aos usuários detalhar os dados.
• Utilize os recursos de processamento de linguagem natural (NLP) do Power BI para criar relatórios ad hoc e responder a perguntas complexas.

🏆Cursos que vão te ajudar a atingir autonomia nessas ferramentas

Temos ótimos cursos aqui na Portal Gestão que te ajudarão atingir habilidades e autonomia:

• Curso on-line de Excel:  https://www.portal-gestao.com/forma%C3%A7%C3%A3o-super-excel.html
• Curso on-line de Power BI Nível 1:  https://www.portal-gestao.com/cursos-online-power-bi.html
• Curso on-line de Power BI Nível 2:  https://www.portal-gestao.com/cursos-online-power-bi-2
• Curso presencial de Excel:  https://www.portal-gestao.com/super-excel.html
• Curso presencial de Power BI Nível 1:  https://www.portal-gestao.com/forma%C3%A7%C3%A3o-power-bi-aplicado-a-gest%C3%A3o-e-finan%C3%A7as.html
• Curso presencial de Power BI Nível 2:  https://www.portal-gestao.com/power-bi-aplicado-a-gest%C3%A3o-e-finan%C3%A7as-n%C3%ADvel-2.html

VBA (Visual Basic for Applications) was created in 1993 by Microsoft and integrated into version 5 of Excel (who remembers!?). Since then, millions of users around the world have sought to automate repetitive tasks in Excel, often turning Excel into applications that serve the most diverse purposes (some quite funny!). 30 years later, VBA for Excel is still alive and with legions of enthusiastic followers and some critical processes in some companies continue to depend on it.

Olá pessoal, Isadora Lupchinski para mais um artigo. O tema de hoje é para os utilizadores de Excel que utilizam com frequência as funções PROCV e PROCH (vlookup e hlookup, caso esteja a utilizar a função em inglês) mas precisam sempre estar atentos aos erros #N/D que por vezes acontece.

Olá, olá olá! Isa aqui para mais um artigo sobre Power BI.

Certamente, o tema de hoje vai interessar tanto os amantes do Excel, quanto os apaixonados pelo Power BI. Pois última versão lançada nesse mês (maio de 2022), a Microsoft lançou um recurso que nos possibilita criar “parâmetros de campos”.

No artigo de hoje vou dar um exemplo de aplicação para esse novo recurso, através da criação de pivot tables, ou mais conhecidas por tabelas dinâmicas no Excel. No entanto, as possibilidades não se esgotam aqui.

Comecei a dar formação em Excel para finanças há cerca de 10 anos atrás. Em 2015, com o lançamento do Power BI, iniciei uma série de ações de formação nesta revolucionária tecnologia de análise e visualização de dados, com um enfoque especial na gestão das empresas. Hoje, somos uma equipa de formadores e consultores e por nós passaram já milhares de formandos e mais de 500 eventos de formação. No início, registava os dados dos eventos de formação numa enorme folha de cálculo, que entretanto se tornou obsoleta e frágil e que, por isso, foi substituída pela Training App, uma aplicação para gestão de formação desenvolvida por nós mesmos.

I started teaching Excel for finance about 10 years ago. In 2015, with the launch of Power BI, I started a series of training sessions on this revolutionary data analysis and visualization technology, with a special focus on business management. Today, we are a team of trainers and consultants and thousands of trainees and more than 500 training events have passed through us. In the beginning, I recorded the data of the training events in a huge spreadsheet, which has since become obsolete and fragile and has therefore been replaced by the Training App, an application for training management developed by ourselves.

I’m a great fan of Matthew Devaney’s blog on Power Apps, Power Automate and everything else on Power Platform development. His latest post, The fastest way to read large Excel table in Power Automate, immediately got my attention, because we’ve just finished a project for a client in which this feature is crucial. I’ve analyzed Matthew’s technique, and adopted it, even though it requires a Premium connector to run the flow.
In this post, I’m sharing a simplified version of the flow, without the Premium connector, but with a small Excel Office Script that does the job nicely. The end result is not as fast as Matthew’s, but it works - and opens a new door to a lot of new great things in Excel automation!

Perguntas:

1) Qual é a diferença entre relatório e dashboard?

No Excel não há diferenças claras entre relatórios e dashboards quanto há no Power BI.