Propósito

✔ Programação GLOBAL® - Quaisquer soluções e/ou desenvolvimento de aplicações pessoais, ou da empresa, que não constem neste Blog devem ser tratados como consultoria freelance. Queiram contatar-nos: brazilsalesforceeffectiveness@gmail.com | ESTE BLOG NÃO SE RESPONSABILIZA POR QUAISQUER DANOS PROVENIENTES DO USO DOS CÓDIGOS AQUI POSTADOS EM APLICAÇÕES PESSOAIS OU DE TERCEIROS.

Mostrando postagens com marcador ETL. Mostrar todas as postagens
Mostrando postagens com marcador ETL. Mostrar todas as postagens

Power Query | Quando devo usar Power Query M, Power BI, ETL, DAX, Linguagem M, Power Query M, PBI, e quando devo usar DAX? - Power Query vs DAX: When to Use M Language, Power BI, ETL, and DAX for Optimal BI Solutions

Power Query | Quando devo usar Power Query M, Power BI, ETL, DAX, Linguagem M, Power Query M, PBI,  e quando devo usar DAX?


 Compre OS LIVROS DESTA SÉRIE 


Na ciência da computação, assim como em muitos outros campos, o seguinte axioma geralmente se aplica: Muitos caminhos levam a Roma. No Power BI, isso é especialmente verdadeiro. A dificuldade é aprender quando é melhor usar uma ferramenta em vez da outra.  


Por exemplo, você pode fazer um cálculo, uma agregação e também uma filtragem tanto no M (ou seja, na engenharia de dados) quanto no DAX (ou seja, na análise de dados).


Assim, é melhor, definirmos regras claras sobre o uso do DAX e da Linguagem M. Isso facilita o início dos novos funcionários e simplifica a comunicação entre os membros da equipe.


Power Query

O Power Query / Linguagem M é usado para engenharia de dados, então:


Ingestão de dados: o Power Query permite importar, combinar e atualizar dados de várias fontes (de uma pasta local, SharePoint, banco de dados, API, Azure e muito mais).


Processos ETL e ELT: Extrair – Transformar – Carregar e Extrair – Carregar – Transformar são as duas abordagens para processamento de dados. Para ambos, o Power Query é a ferramenta do momento.


Data Wrangling: Os dados são então limpos e transformados. Junções são feitas, filtradas, nomes uniformes são atribuídos, colunas desnecessárias são removidas, etc.


As seguintes regras se aplicam:


Conjuntos de dados que nunca precisaremos na análise de dados são filtrados em M

Não agregamos registros em M

Colunas que nunca precisamos são removidas em M

Não fazemos cálculos em M

Exceções confirmam a regra. Por exemplo, há situações em que um cálculo em M é muito mais fácil de ser realizado. Ou, às vezes, estamos diante de enormes quantidades de dados, de modo que a agregação em M nos poupa uma boa quantidade de problemas no futuro.


DAX

O DAX é usado para análise de dados, então:


Agregações: se você precisar recuperar valores agregados de uma tabela ou conjunto de dados, a melhor e mais rápida maneira de fazer isso é com funções de agregação DAX


Filtragem: Em medidas, as funções de filtragem estão entre as mais comumente usadas. Elas ajudam a filtrar apenas as informações relevantes e/ou editar o contexto dos dados para criar cálculos dinâmicos sem alterar o modelo de dados e suas tabelas. Isso é importante para visualizar e agregar valores específicos para relatórios e painéis e outros cálculos usando essas métricas de filtro. 


Definir relacionamentos: o Power Query não conhece relações. No DAX, por outro lado, você pode definir e alterar relacionamentos, mas também aplicá-los usando integridade referencial.


Funções de relacionamento (hierarquias).  O DAX contém funções para retornar, por exemplo, a cardinalidade de relações e registros.


Coluna calculada que faz referência a uma coluna de outra tabela.  Com o DAX, o usuário pode facilmente inserir colunas de tabelas diferentes na fórmula. No Power Query, essa manobra requer junção complexa e se complica muito rapidamente.


 Clique aqui e nos contate via What's App para avaliarmos seus projetos 

Compartilhe, deixe comentários!
brazilsalesforceeffectiveness@gmail.com

Power Query | Os Passos de um Projeto num Processo de Dados do Power BI - Power Query | Step-by-Step Guide to Data Processing in Power BI Projects

Power Query | Os Passos de um Projeto num Processo de Dados do Power BI
#ProgramaçãoGlobal #AndreLuizBernardes #DAX #DAXPROJECT #PBI #POWERBI #DataAnalytics #DataViz #DataVisualization #BusinessIntelligence #FUNCTION #DAXFUNCTIONS


 Compre OS LIVROS DESTA SÉRIE 


Os primeiros passos de um projeto para um processo de dados do Power BI são sempre feitos no Editor do Power Query, onde coletamos dados de diferentes fontes, limpamos e formatamos os dados.


O DAX só entra em jogo na segunda etapa, na análise de dados. Calculamos principalmente medidas e KPIs, e usamos o DAX para filtrar a visualização em questão.


O Power Query M é usado para ingestão e manipulação de dados. O DAX para análise de dados.


Sempre começamos no editor do Power Query. Com a interface gráfica do usuário e a Linguagem M, usuários iniciantes e avançados podem preparar os dados para análise e visualização posteriores.


O DAX, por outro lado, é usado em um segundo estágio, para fazer cálculos de vários registros e agregar fatos individualmente.



👉 Siga André Bernardes no LinkedinClique aqui e contate-me via What's App.

Comente e compartilhe este artigo!

brazilsalesforceeffectiveness@gmail.com


 Série de Livros nut Project 

DONUT PROJECT: VBA - Projetos e Códigos de Visual Basic for Applications (Visual Basic For Apllication)eBook - DONUT PROJECT 2024 - Volume 03 - Funções Financeiras - André Luiz Bernardes eBook - DONUT PROJECT 2024 - Volume 02 - Conectando Banco de Dados - André Luiz Bernardes eBook - DONUT PROJECT 2024 - Volume 01 - André Luiz Bernardes


 PUDIM PROJECT 

eBook - PT - PUDIM PROJECT 2024 - Python Volume 01 - Funções Essenciais - Série PUDIM PROJECT — André Luiz Bernardes eBook - PT - PUDIM PROJECT 2024 - Python Volume 02 - Funções Essenciais - Série PUDIM PROJECT — André Luiz Bernardes eBook - PT - PUDIM PROJECT 2024 - Python Volume 03 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes


eBook - PT - PUDIM PROJECT 2024 - Python Volume 04 - Funções para Automatização - Série PUDIM PROJECT — André Luiz Bernardes eBook - PT - PUDIM PROJECT 2024 - Python Volume 05 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes eBook - PT - PUDIM PROJECT 2024 - Python Volume 06 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes


eBook - PT - PUDIM PROJECT 2024 - Python Volume 07 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes eBook - PT - PUDIM PROJECT 2024 - Python Volume 08 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes eBook - PT - PUDIM PROJECT 2024 - Python Volume 09 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes


eBook - PT - PUDIM PROJECT 2024 - Python Volume 10 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes eBook - PT - PUDIM PROJECT 2024 - Python Volume 11 - Automatizando Postagens em Redes e Plataformas Sociais - Série PUDIM PROJECT — André Luiz Bernardes


 Série DONUT PROJECT 2024 

DONUT PROJECT 2024 - VBA - Retorna o Valor do Conteúdo da Área de Transferência do Sistema DONUT PROJECT 2024 - VBA - Retorna a Versão do Sistema Operacional em que o Excel está sendo Executado DONUT PROJECT 2024 - VBA - Desenvolvimento de Ferramentas de Análise de Riscos

DONUT PROJECT 2024 - VBA - Desenvolvimento Obter Informações sobre a Versão do Sistema Operacional DONUT PROJECT 2024 - VBA - Automatizando Tarefas de Engenharia e Design DONUT PROJECT 2024 - VBA - Automatização de Processos de Medir Distâncias no Google Maps

DONUT PROJECT 2024 - VBA - Automatização de Processos de Marketing Mail com o GMail DONUT PROJECT 2024 - VBA - Automatização de Processos de Marketing Mail DONUT PROJECT 2024 - VBA - Como proteger e ocultar fórmulas em uma planilha do Excel usando VBA

DONUT PROJECT 2024 - VBA - Código Exporta os dados e Atualiza as Quantidades em Estoque de um Determinado Produto na Planilha "Estoque" Crie Funções Personalizadas com Visual Basic for Applications (VBA) para Análise de Dados nos Negócios Saber programar em Visual Basic for Applications (VBA)

Power Query | O que é a Linguagem M? - What is M Language and How to Use It in Power BI?

Power Query | O que é a Linguagem M?


 Compre OS LIVROS DESTA SÉRIE 


Linguagem M (também conhecida como Power Query M) é a linguagem de programação utilizada no Power Query, uma ferramenta de transformação e preparação de dados do Power BI, Excel, e outras soluções da Microsoft, como o Azure Data Factory. Embora seja uma linguagem funcional, ela foi projetada para ser acessível, principalmente para analistas de dados e profissionais de BI, permitindo que realizem manipulações de dados complexas sem a necessidade de um profundo conhecimento em programação. A Linguagem M é essencialmente responsável por definir os passos de transformação de dados no Power Query, possibilitando que você crie consultas que extraem, limpam, transformam e modelam dados antes de carregá-los em um modelo de dados para análise.

Uma das principais características da Linguagem M é que ela é baseada em funções. Ao escrever uma consulta no Power Query, você está essencialmente criando uma série de funções que transformam os dados à medida que eles são carregados. Essas funções podem ser encadeadas, criando um fluxo de transformações que acontece em sequência. Em cada etapa, a consulta retorna um conjunto de dados transformado, que pode ser utilizado pela próxima etapa ou como resultado final. O uso de funções permite que a Linguagem M seja altamente flexível, além de otimizar o processo de transformação de dados.


 Power BI: 


No Power Query, ao clicar em uma operação no editor de consultas (como filtrar dados, substituir valores, ou adicionar novas colunas), o Power Query gera automaticamente o código M correspondente. Isso facilita o aprendizado da linguagem, já que os usuários podem realizar operações complexas por meio da interface gráfica sem precisar escrever o código manualmente. No entanto, a possibilidade de editar diretamente o código M oferece mais controle sobre as transformações, permitindo ajustes finos e a implementação de soluções mais avançadas.


 MAIS ARTIGOS SOBRE POWER BI | DAX: 


Uma das vantagens do M é sua capacidade de se conectar a uma ampla gama de fontes de dados, incluindo bancos de dados relacionais, arquivos CSV, Excel, APIs, entre outros. Ele permite realizar transformações poderosas, como a limpeza de dados, alteração de tipos de colunas, agrupamento, mesclagem de tabelas, entre outras. Além disso, a Linguagem M é otimizada para o processamento em paralelo, o que significa que consultas podem ser executadas de forma eficiente, mesmo em grandes volumes de dados.


No entanto, a Linguagem M tem suas limitações. Por ser uma linguagem de consulta e transformação de dados, não é tão adequada para operações analíticas complexas, como cálculos financeiros ou estatísticos avançados. Para esse tipo de tarefa, o Power BI oferece a linguagem DAX (Data Analysis Expressions), que é mais indicada para cálculos no nível de modelagem de dados. Portanto, enquanto o M é ideal para transformar dados antes de carregá-los no modelo, o DAX é utilizado para cálculos no contexto do modelo de dados após o carregamento.


A sintaxe da Linguagem M é relativamente simples e bastante semelhante à de outras linguagens funcionais. Ela utiliza um estilo de "imagens de transformação", onde os dados passam por uma série de transformações em etapas, e cada etapa é escrita de forma declarativa. As expressões M geralmente começam com a palavra-chave let, que define o início de um bloco de código, e a palavra-chave in, que indica a expressão final da consulta. Essas duas palavras-chave são essenciais na estruturação das consultas em M.


Além disso, a Linguagem M permite o uso de listas e tabelas como estruturas de dados centrais. Listas são sequências ordenadas de valores, enquanto as tabelas são compostas por colunas e linhas, permitindo organizar os dados de forma tabular. A manipulação de tabelas e listas é facilitada através de uma série de funções como Table.SelectRows, Table.AddColumn, Table.RemoveColumns, entre outras, que permitem realizar operações como filtragem, ordenação e transformação de dados.


Linguagem M também possui suporte a funções personalizadas. Você pode criar funções próprias para realizar transformações mais complexas e reutilizá-las em diferentes consultas. Isso é especialmente útil em cenários onde a mesma lógica de transformação precisa ser aplicada em várias consultas ou fontes de dados diferentes, tornando o código mais modular e reutilizável.


Outro recurso interessante do M é a sua capacidade de aplicar transformações de dados de forma condicional. Você pode, por exemplo, criar colunas baseadas em regras de negócio, como a criação de uma coluna condicional para classificar os valores de uma outra coluna, ou até mesmo realizar a transformação de dados baseada no conteúdo de outras tabelas ou fontes externas.


Em relação ao desempenho, a Linguagem M foi projetada para ser eficiente na manipulação de grandes volumes de dados. Ela utiliza uma abordagem de carregamento preguiçoso (lazy loading), onde os dados só são carregados ou transformados quando realmente necessários. Isso significa que as consultas podem ser otimizadas para reduzir a quantidade de dados carregados e processados, melhorando o desempenho geral.


Porém, vale ressaltar que, ao contrário de linguagens como SQL, o M não possui suporte completo a transações ou a manipulação avançada de dados, como subconsultas ou junções complexas de várias tabelas em uma única consulta. Mesmo assim, suas capacidades são amplamente suficientes para o tipo de trabalho que se espera de um processo de preparação de dados para análise.


Em resumo, a Linguagem M é uma ferramenta poderosa e flexível para transformar dados no Power Query, permitindo que usuários de BI e analistas de dados manipulem e preparem dados de forma eficiente e automatizada. Sua integração com o Power BI e o Excel facilita a implementação de fluxos de trabalho de ETL (extração, transformação e carga) e prepara os dados para análises mais profundas e avançadas. Combinada com o DAX e outras ferramentas do Power BI, a Linguagem M é essencial para construir soluções de BI robustas e de alto desempenho.


 Clique aqui e nos contate via What's App para avaliarmos seus projetos 

Compartilhe, deixe comentários!
brazilsalesforceeffectiveness@gmail.com
diHITT - Notícias