Eventualmente, na profissão de analista de dados, nos deparamos em situações em que precisamos realizar manutenção em modelagens que foram desenvolvidos por terceiros, ou continuar o desenvolvimento do projeto com este modelo de dados. O maior desafio neste sentido é: como avaliar, se familiarizar, identificar regras, e quais as relações de um modelo de dados totalmente desconhecido? Ainda mais desafiador é, realizar todas estas ações sem a documentação do projeto. No artigo anterior, abordamos como realizar a documentação de projetos utilizando a ferramenta externa Model Documenter. Neste, veremos como esta mesma ferramenta poderá auxiliar a identificar indícios de problemas de modelagens, desenvolvimento e boas práticas em projetos desconhecidos, através de alguns exemplos. Todo o processo de instalação e utilização da ferramenta já foi abordado no artigo anterior, se você está se deparando com este primeiro, sugiro a leitura através deste link. Uma vez tendo o novo arquivo PBIX gerado pelo Model Documenter, vamos analisar alguns indícios de um modelo com problemas. Tela PQ Parameters É evidenciado nas literaturas como uma boa prática e recomenda-se a utilização de parâmetros no PowerQuery. Com a utilização desta funcionalidade, o processo de manutenção futura em caso de troca de fontes de dados, filtros específicos ou configurações avançadas se tornam mais simples. Neste caso abaixo, observa-se que nenhum parâmetro foi criado. Tela Tables De imediato, observa-se duas informações importantes neste relatório, existem 6 tabelas que são resultados da opção de auto date/time habilitada e 14 tabelas calculadas via DAX. Estes dois pontos podem gerar impactos significativos em termos de performance e tamanho do modelo de dados. Tela Columns Semelhante às análises da tela tables, na tela columns, observa-se uma elevada quantidade de colunas calculadas via DAX. Não é proibido criar colunas calculadas, porém, recomenda-se que sejam feitas apenas em questões pontuais. Neste caso, temos 70 colunas calculadas, o que representa aproximadamente 43% do total de colunas do modelo. Será que há realmente necessidade, ou uma etapa de tratamento e modelagem no PowerQuery substituiria essa situação? Outra observação importante que esta tela nos permite inferir é a cardinalidade das colunas. A cardinalidade refere-se à quantidade de valores únicos presente em uma coluna, quanto maior a cardinalidade, maior será o tamanho desta coluna e por consequência, maior será o tamanho da tabela. Neste sentido, pode-se avaliar a tipagem das colunas, e a criação de colunas repetidas no modelo. Na imagem abaixo, observa-se que existem 6 tabelas idênticas, nomeadas de forma distintas: Tela de Relacionamentos Nesta Tela, para este exemplo, identificamos de forma imediata problemas de relacionamento entre as tabelas. Observa-se pelos cartões que existem 6 relacionamentos com cardinalidade Muitos-para-Muitos: Nos itens anteriores vimos alguns exemplos de avaliações que podem auxiliar a diagnosticar um modelo de dados desconhecido. Existem no mercado outras ferramentas externas que possibilitam este mesmo tipo de análise, porém o Model Documenter as gera de forma automática e simplificada. Outros tipos de análises podem ser feitas pelo analista para complementar o seu diagnóstico, conforme mencionado no artigo de documentação de modelos, o Model Documenter gera um PBIX contendo os mais diversos tipos de informações sobre o conjunto/modelo de dados, e aqui cabe a criatividade e curiosidade do analista para investigar ainda mais a fundo o modelo e ter uma real noção do quanto de energia e tempo será necessário para corrigir problemas, dar manutenção ou realizar novos desenvolvimentos a partir de um modelo desconhecido.

Imagine um cenário onde tomadas de decisões estratégicas devem ser feitas de forma dinâmica e célere. Tais decisões irão impactar as finanças corporativas e outros setores dentro de uma empresa. Agora imagine você ter registros organizados, estruturados e projetados em uma tela em que você é capaz de observar dados corporativos, entender tendências, produzir insights de forma segura e orientada aos dados. Este é um cenário que caracteriza o Business Intelligence. Com o passar do tempo o Business Intelligence (BI) é um conceito que ocupa cada vez mais espaço no universo dos negócios. É fato que hoje, as empresas têm cada vez mais dados à sua disposição. Entretanto, não basta ter muitas informações se não soubermos a melhor maneira de utilizá-las a nosso favor. O Business Intelligence é um conjunto de tecnologias, conceitos e práticas utilizadas para coletar, armazenar, tratar, analisar e apresentar informações, permitindo assim uma visão mais completa e detalhada sobre o negócio. Por meio da utilização de vários métodos e ferramentas, o BI ajuda as empresas a tomar decisões baseadas em dados e evidências. A visualização e a compreensão dos dados podem ser feitas de forma eficaz e eficiente devido a essas técnicas. Ao utilizar esses métodos, é possível determinar tendências e padrões, descobrir oportunidades e obstáculos, bem como criar modelos para prever resultados futuros. Através da utilização do BI, as empresas são capazes de ter insights valiosos baseados em dados. Os gestores podem descobrir tendências de mercado, comportamento dos concorrentes, informações sobre o perfil de clientes permitindo a identificação de oportunidades de negócio. O BI também possibilidade de maneira mais dinâmica a avaliação de desempenho da empresa permitindo tomadas de decisões, ajustes e melhorias estratégicas necessárias para o crescimento do negócio. Outros benefícios que podem ser obtidos através do BI é a melhoria na eficiência de processos empresariais. Com análises dos dados, é possível obter informações vitais que ajudam a mitigar gargalos, atrasos e outras ineficiências. Como exemplo, diversos aeroportos no mundo e no Brasil, coletam dados de suas operações para aumentar cada vez mais a sua performance e fornecer um serviço com maior qualidade para os passageiros. Imagine uma situação em que os passageiros de um voo foram impactados porque uma ponte de embarque e desembarque apresentou uma falha no momento em que a mesma seria acoplada a aeronave. Qual a percepção que o passageiro vai ter sobre o aeroporto? Com a análise dos dados, o BI poderá auxiliar a entender o porquê e como aconteceu aquela falha. A partir dos dados, poderão ser estabelecidas rotinas de manutenção preventiva ou até mesmo a substituição do equipamento caso ele venha a apresentar problemas constantemente e a sua vida útil já tenha sido ultrapassada. Percebe-se então que, através do BI os gestores têm o poder de agir de forma mais precisa e estratégica, direcionando os recursos e energia necessários de maneira mais eficiente com intuito de obter um melhor resultado de desempenho de operação. Outras empresas que tiveram sucesso ao utilizar o BI são: 1. Amazon – Através da análise de perfil de compras e preferências do cliente, a Amazon consegue oferecer recomendações personalizadas de compras para seus clientes. 2. Netflix – Semelhante à Amazon, a Netflix consegue avaliar os dados de visualização dos seus usuários e fornece sugestões recomendadas de filmes e séries baseada no perfil. Além disso, a Netflix consegue avaliar a necessidade de criação de conteúdos exclusivos que atendam às necessidades dos usuários. 3. Walmart – A Walmart é um dos cases de sucesso mais conhecidos quando se trata de Business Intelligence. Conhecida pela sua eficiência de cadeia de suprimentos, a Walmart utiliza os dados para gerenciar seus estoques, garantir a disponibilidade de produtos e maximizar sua eficiência operacional. 4. Airbnb – Utiliza dados para personalizar a experiência do usuário e analisa dados de concorrentes para ajustar seus preços e maximizar sua receita. 5. Linkedin – Utiliza dados para personalizar a experiência do usuário na plataforma, permitindo a personalização de recomendações de empregos e aprendizados com intuito de auxiliar os usuários a atingir seus objetivos profissionais. Sabendo que estamos vivendo a era dos dados, e que empresas líderes de mercado investem cada vez mais em coleta, estruturação, análise e monitoramento de dados, àquelas que não conseguem acompanhar essa real necessidade tendem a ser menos competitivas. O Business Intelligence consegue transformar montantes de dados e informações em decisões orientadas em questão de segundos, o que antigamente era improvável de se fazer. Engana-se quem pensa que o BI é exclusivo para empresas grandes. Existe espaço para todas as empresas e para todos os setores da indústria. Portanto o Business Intelligence se tornou fundamental e indispensável para todos os negócios que querem se manter vivos em um mercado cada vez mais competitivo e fazer a sua empresa evoluir através de decisões baseada em dados (data-driven). Peter Drucker afirmou que “O que não se pode medir, não se pode gerenciar” o que nos permite concluir que se uma empresa não for “data-driven” não se pode gerenciá-la, e em contrapartida uma empresa não pode ser “data-driven” se não possuir dados confiáveis. Por estes motivos, o Business Intelligence se torna cada vez mais indispensável para tomadas de decisões estratégicas.

Em diversos casos, um projeto envolvendo o PowerBI é realizado de forma orgânica. Na maioria dos casos, a documentação do modelo é deficiente ou até mesmo inexistente. Desta forma, futuras alterações de projetos, atualizações de relatórios e manutenção são complicadas de serem realizadas por pessoas que não estiveram envolvidas no processo inicial. O processo de documentação a depender do modelo poderá ser demorado e muitas vezes não se enxerga inicialmente o custo-benefício associado a esta tarefa. Com intuito de mitigar estes problemas, podemos utilizar ferramentas externas ao PowerBI que auxiliam na obtenção de informações do modelo. Neste artigo apresentarei a ferramenta Model Documenter, que é bastante intuitivo de se utilizar e fornece as principais informações do modelo de forma estruturada e organizada em um novo arquivo de extensão PBIX que poderá ser acessado e obter informações relacionadas ao modelo de dados. O Model Documenter surgiu no ano 2020 e desde então vem sofrendo diversos tipos de atualizações para acompanhar as mudanças e atualizações mensais do PowerBI. A versão mais recente da ferramenta é a v2.1.0 e pode ser encontrada para download em seu site oficial https://data-marc.com/model-documenter/ Para o download, basta acessar o link acima e clicar no botão “Download Power BI Model Documenter v2.1.0”, conforme imagem abaixo: Após o download da ferramenta, devemos proceder com o processo normal de instalação como em qualquer outro aplicativo ou software. Ao instalar o Model Documenter, o mesmo será exibido no menu de ferramentas externas do PowerBI: Para iniciar o processo de documentação, basta clicar na ferramenta externa. Uma caixa ou prompt de diálogo/execução irá iniciar e coletar informações relativas ao modelo, conforme imagem abaixo: Após a finalização do processamento, um novo arquivo .PBIX será gerado contendo informações do modelo de dados: Podemos perceber que este novo PBIX contém 10 páginas de documentação geradas automaticamente sobre o seu modelo de dados. Detalharemos um pouco mais sobre as páginas logo abaixo: Info Contém informações gerais sobre a ferramenta e sobre a origem do modelo, neste caso, extraí a documentação utilizando um arquivo local e utilizando a versão 2.1 da ferramenta, que podem ser observados nos visuais intitulados “Model Information” e “Extraction” PQ Parameters Nesta tela, temos documentado todas informações relacionadas aos parâmetros utilizados no Power Query, bem como Queries Referenciadas: Além disso, podemos perceber que é possível utilizar os filtros laterais para filtrar os parâmetros por nome e por tipo. Neste caso logo de imediato podemos perceber a utilização de 5 parâmetros no Power Query e 3 Queries referenciadas. Tables Nesta tela, temos documentado as informações relacionadas às tabelas do modelo. Logo de imediato, avaliamos nos cards que existem 14 tabelas no modelo, nenhuma tabela que são resultadas da função Auto DateTime. As 14 tabelas foram geradas no Power Query e nenhuma das tabelas foi gerada via DAX. Novamente, possuímos filtros laterais, Table Type permite a segregação visual entre tabelas originadas no Power Query e as originadas via DAX. Auto Generated DateTable permite segregar as tabelas que são resultadas da função auto datetime. Is Hidden permite segregar as tabelas que estão ocultas no modelo Is Referenced permite segregar as tabelas que são referenciadas no Power Query. Além disso, possuímos um visual de tabela que mostra as informações gerais das tabelas como por exemplo a quantidade de partições que existem ou a quantidade de linhas. Partitions & Polices Seguindo o mesmo layout das páginas anteriores, temos filtros laterais para segregar as tabelas. Nesta tela é interessante perceber que caso existisse mais de uma partição para alguma tabela e políticas de atualização incremental, estas seriam exibidas nos cards, bem como a expressão que a gera no Power Query. Na imagem abaixo, podemos perceber que a tabela “dAircraft” possui somente uma partição e não possui política de atualização incremental: Columns Na tela de Colunas, possuímos filtros como nas telas anteriores para segregar os visuais. Os principais cards trazem a quantidade total de colunas, quantidade de colunas calculadas, quantidade de colunas ocultas e quantidade de colunas sem formatação. Além disso, podemos verificar a cardinalidade de cada uma das colunas do projeto. Calculation Groups Nesta tela, temos informações relacionadas aos grupos de cálculos criados no Tabular Editor. Como neste projeto não foi utilizado nenhum grupo de cálculo, consequentemente, nenhuma informação é gerada na documentação. Field Parameters Semelhante à página Calculation Groups, nesta página, são documentadas informações relacionadas aos parâmetros de campo. Como neste projeto não foi utilizado nenhum parâmetro de campo, consequentemente, nenhuma informação é gerada na documentação Measures Nesta página, temos as informações relacionadas às medidas do projeto. Conforme imagem abaixo, são 131 medidas, sendo que todas estão sem a descrição da medida, estas medidas estão organizadas em 11 pastas diferentes, e nenhuma está oculta. Podemos perceber também a possibilidade de segregação pelos filtros: Table Name – Filtra as tabelas utilizadas para criar e organizar as medidas em pastas. Display Folder – Filtra as medidas pelas pastas que foram criadas para organizar as medidas Data Type – Filtra a medida de acordo com a tipagem. Is Hidden – Filtra as medidas que estão ocultas no modelo. Além dos filtros, possuímos um visual de tabela que lista todas as medidas, sua pasta de exibição, nome, descrição e a expressão DAX utilizada nesta medida, conforme imagem abaixo: Relationships Nesta página observamos informações relevantes sobre os relacionamentos entre tabelas do modelo. Nos cards principais, avaliamos a quantidade de relacionamentos, quantos estão sendo realizados em cardinalidade muitos para muitos, quantos relacionamentos ativos e inativos existem. Security Avalia-se nesta tela, informações relacionadas às regras de RLS e Object Level Security aplicadas no modelo, como o nome, a descrição da regra, as tabelas que são utilizadas para as regras e as regras de filtros. Neste modelo não foram utilizadas regras, logo, a documentação não exibe tais informações. Sendo assim, executou-se um processo de documentação de forma simplificada. Basicamente um click na ferramenta externa “Model Documenter” gerou toda a documentação para o projeto. A ferramenta gera um layout e informações padrões, mas existe a possibilidade de se criar outras páginas contendo outras informações relacionadas ao modelo. Analisamos através da imagem abaixo, para cada variável de documentação, é gerada uma tabela e algumas medidas padrões, que são aquelas detalhadas anteriormente nas páginas. Uma das virtudes dessa ferramenta é que existem outras diversas colunas com informações que podem gerar informações relevantes à documentação também. Na imagem abaixo, observa-se uma tabela com diversas colunas relacionadas somente às medidas criadas no modelo. Vale a pena observar e investigar cada uma dessas colunas e trazer outras informações que não àqueles padrões gerados pela ferramenta. Neste artigo cobrimos os principais pontos sobre a documentação de projetos utilizando a ferramenta externa “Model Documenter”. No próximo artigo, estaremos utilizando a ferramenta para diagnosticar modelos de dados do PowerBI.