Power BI e Python – Automação de dados no gerenciamento de projetos de alta complexidade

Como foi abordado no artigo anterior (Porque todo gerente de projetos deveria estudar Power BI), utilizando o Power BI para relatórios de status e análises de Projetos, já se obtém um enorme ganho de comunicação e compartilhamento das informações. Não é necessário saber nenhuma linguagem de programação para usar o Power BI em questões quotidianas de gerenciamento de projetos, mas vale compartilhar minha experiência utilizando scripts Python em conjunto com Power BI:
​
Depois de algum tempo utilizando o Power BI em meus projetos, estudei a fundo e me certifiquei em Analista de Dados pela Microsoft. Pensei naquele momento que conseguiria fazer tudo com o Power BI, mas foi então que fui novamente desafiado.

No final de 2020 fui chamado para gerenciar um projeto complexo de desenvolvimento de software. Entrei na etapa de homologação com quase mil cenários de testes de diversas partes e módulos do sistema com diversas equipes de homologação espalhadas remotamente devido à pandemia do COVID.

Além disso, a necessidade de informação gerencial era desafiadora. Eu precisava montar relatórios diários do andamento da homologação de forma geral, por módulos do sistema, por equipes, apresentando percentuais de aprovação e reprovação por cada ciclo de testes além de um histórico de evolução, bugs, liberação de bus e principais motivos de reprovação.

Este é o cenário ideal para um bom dashboard em Power BI, principalmente porque a empresa não possuía um sistema de controle de homologação e fazia todo o controle no bom e venho Excel.

Durante a construção do dashboard, percebi a necessidade de realizar algumas automações antes de passar os dados para o Power BI, como, por exemplo, ao final do dia saber quantos cenários de testes foram liberados, quantos foram aprovados e quantos foram reprovados naquele dia. Ou então, determinar o status de cada cenário de testes de acordo com os resultados de diversos homologadores durante o dia.

Eu tentei fazer isso com colunas intermináveis do Excel, mas isso não foi nada produtivo. O trabalho manual se tornou demorado e propenso a erros de digitação e falha humana.

Eu precisava de uma ferramenta para otimizar isso, fazer este trabalho chato e depois apresentar os dados no Power BI. Pensei em fazer uma macro em VBA, mas isso também não era tarefa fácil.
​
Foi então que olhei um ícone ali no painel do Power BI escrito “Py”. Lembrei que tinha estudado que o Power BI tinha integração nativa com scripts em Python e então tudo ficou claro.

Dentro do Próprio Power BI é possível fazer scripts em Python que conseguiam ler os dados, automatizar as atividades e depois deixar tudo pronto para os Dashboards. Ao clicar no ícone, é aberta uma janela e criado um dataset que pode ser manipulado com a biblioteca Pandas.

​Quero apresentar aqui as vantagens de utilização do Python no Power BI, começando com o exemplo de um dos scripts que criei.  O código faz uma varredura em cada cenário de teste, verifica qual o status do último ciclo, e lança o resultado na coluna “Status Atual”.  Com isso, sempre que eu atualizo a base de dados, o script entra em ação e determinava qual o status de cada cenário de teste no final do dia.

​Além desta facilidade, enumero aqui outras três vantagens do uso do Python dentro do Power BI, todas elas relacionadas com diversas bibliotecas do Python, dentre elas as bibliotecas Pandas e Matplotlib, que são amplamente utilizadas por pesquisadores de dados:

1.     Ganho de performance:
O Python pode auxiliar no tratamento automatizado de um grande conjunto de dados, otimizando o seu tempo.

Imagine que você queira estudar a relação entre as profissões e internações em UTI por COVID-19 no Brasil.

Eu fiz este estudo e posso te afirmar que ler o arquivo de quase 650MB com mais de 1,2 milhões de registros e centenas de campos diretamente no Power BI para depois selecionar apenas dois campos e os registros onde as pessoas informaram a profissão e foram internadas em UTI não é nada produtivo. 

No Python , você pode fazer a seleção dos campos e dos registros antes de levar os dados para o Power BI, dessa forma a performance é muito maior e continuará sendo maior a cada atualização do seu dashboard. Com apenas três linhas ganhamos minutos, em certos casos horas, de processamento:

2. Criar elementos visuais nativos do Python

3. Algoritmos de pesquisa de dados não relacionais, utilizando machine learning por exemplo

Isso não é complexo! É como aprender a andar de bicicleta: depois que você sai das rodinhas o mundo te espera!

Você pode pensar que é necessário aprender análise de dados, ETL, SQL, programação, construção de classes, funções etc. certo? Não é bem assim, ouso dizer que qualquer GP, seja ele de tecnologia da informação ou não, pode usar estas ferramentas em seu favor.

Obviamente se você nunca programou ou está sem escrever nada desde a faculdade pode ser um pouco mais demorado, mas não é impossível. O Power BI é uma ferramenta muito intuitiva, a integração de códigos Python é fácil e robusta. Você pode utilizar diversos módulos construídos em Python pelo mundo e usar a seu favor.

Além disso, aprender Python te abre uma série de possibilidades de automação do seu trabalho, como envio automático dos relatórios, gatilhos para alertas etc. Mas isso é assunto para outro artigo.Se o assunto te interessou, eu aconselho pesquisar primeiro sobre Power BI, sobre leitura de dados do Excel e Project e depois um pouco sobre Python.

O Power BI pode ser baixado no site da Microsoft e utilizado gratuitamente.O Python por sua vez é uma programação de código livre, com diversos módulos e pacotes para análise de dados e que tem se mostrado o futuro das linguagens de programação voltadas para ciência de dados.

Pode parecer muito estranho um gerente de projetos estudar estas ferramentas para controlar os dados de seus projetos, mas pode ter certeza que depois de dominá-las você entregará os dados que são demandados pelas partes interessadas do projeto com velocidade e precisão incríveis. Para alguns gerentes de projetos, esse será um bom caminho para aumentar a maturidade e melhorar a produtividade.

Uma vez construídos os seus dashboards em Power BI e Python, sobrará tempo para você fazer aquilo que um gerente de projetos deve fazer ao invés de estar focado na produção de infinitos slides de PowerPoint.

Deixo aqui no final uma provocação para você que não é da área de tecnologia da informação ou que é mas desde a faculdade nunca mais digitou nenhuma linha de código:

“Todo mundo deveria aprender a programar um computador porque isso ensina você a Pensar” (Steve Jobs)

​Quer começar? Baixe o Python em www.python.org

Alguns links interessantes da Microsoft:
​
Como usar Python no Editor de Consultas do Power BI - Power BI | Microsoft Docs

Executar scripts do Python no Power BI Desktop - Power BI | Microsoft Docs

Criar visuais do Power BI usando Python no Power BI Desktop - Power BI | Microsoft Docs

Somos parceiros Gold Microsoft, com especialização Project and Portfolio Management. Conte com a DC-DinsmoreCompass para aprimorar suas habilidades como gestor de projetos. Entre em contato para conhecer a solução DC-QUP que torna mais eficaz e produtivo o gerenciamento de seus projetos com base em Power BI, entre outros componentes. 

Autor: Alex Lima Mazullo (Gerente de Projetos DC) | Revisor: Marco Valadares (Diretor DC)