Tableau LOD Expression e Microstrategy Level Metrics

Bom dia.

No artigo de hoje, resolvi falar sobre este assunto que julgo importante, não só para a comunidade Tableau, como também para meus amigos, que assim como eu, vieram do mundo Microstrategy e hoje são multiplataformas: Tableu LOD Expression e Microstrategy Level Metrics.

Quando iniciei com Tableau na versão 8.3, apresentado pelo meu amigo Raphael Almeida (mestre do mundo do marketing digital), fiquei encantado, com a facilidade de criação de análises e dashboards, tudo já pré-formatado, dentro das melhores práticas de visualização.

Logo então, parti para os cálculos pesados, fiquei maravilhado com o recurso Table Calculation. Porém senti falta do que tinha no Microstrategy, o que chamávamos de "métricas dimensionalizadas", Level Metrics.

Na versão 9.0, a Tableau nos trouxe um super presente, o recurso de LOD Expression, que sanava toda essa necessidade de cálculos de nível, exclusão, fixação e inclusão de nível, dentre outras possibilidades.

Vou além, das ferramentas de Data Discovery que conheço, nenhuma possui este recurso. Algumas, possuem em sua versão Enterprise, opções de criação de métricas de nível, criação de datasets para utilização em seu produto de Data Discovery.

Falando um pouco de como funciona Level Metrics no Microstrategy, na criação da métrica, temos uma configuração de Level (Dimensionality). Nesta opção, por padrão, todas as métricas são Report Level, ou seja, do nível do relatório. Você pode inserir então, atributos, definindo 3 opções:

• Target - define o nível que a métrica será calculada

• Filtering - define como a métrica irá trabalhar em relação ao filtro do relatório

• Grouping - define o agrupamento da métrica, Target ou ignora Target 

Basicamente falando, toda métrica é convertida pelo engine do Microstrategy, em um passo de SQL no relatório. O que as opções acima farão, nada mais é do que configurar as cláusulas Select, Where e Group By (não necessariamente ligadas a cada uma das opções acima).

Falando agora de Tableau LOD Expression. É muito simples. basta criar um campo calculado como o abaixo:

Onde:

• INCLUDE - palavra chave para calcular em um nível inferior
• EXCLUDE - para calcular em um nível superior
• FIXED - para calcular em um nível fixo
• [Order ID] - declaração de dimensão (uma ou mais)
• Sum(Valor da Venda) - expressão de agregação

Vamos aos exemplos. Suponha que na minha base de item de pedidos, queira uma média do valor dos pedidos. Se eu simplesmente fizer um AVG(Valor das Vendas), terei uma média dos itens, como abaixo:

O que preciso fazer é: primeiro somar todos os itens por pedido. Depois fazer a média dessa somatória. Como na minha análise o nível de detalhe é Categoria e Ano, vou criar um campo calculado com a expressão Include para calcular em um nível de detalhe inferior a somatória, por Pedido, e depois fazer simplesmente a média por Categoria e Ano.

Repare que o valor é diferente. Agora vamos tirar a prova, criando uma planilha por pedido, na Categoria Tecnologia, no Ano de 2011.

Repare o Grand Total que é a média da soma dos pedidos. 
O segundo exemplo é com Exclude. Temos Categoria e Subcategoria. Coloquei o valor das vendas  por subcategoria e também os totais por categoria. Agora quero visualizar uma métrica com Exclude (calculando em um nível de detalhe acima), para ver, na subcategoria, o total de sua categoria.

Isso é muito utilizado no Microstrategy para construção de Percentual do Total. Mas você não precisa disso no Tableau para construir percentual do total, pode simplesmente usar Table Calculation, explicado no meu artigo anterior, é uma alternativa. 
Agora vamos a mais um exemplo. Também podemos reproduzir o mesmo resultado anterior, com Fixed, fixando o nível de cálculo para Categoria apenas.

Um detalhe interessante sobre o Fixed, segundo a base de conhecimento Tableau, é a ordem em que seu filtro é executado, logo após os filtros de contexto, e antes dos filtros de dimensões. As expressões do tipo Include e Exclude são executadas após o filtro de dimensão.
Outro teste que fiz, pelo fato de seu nível ser fixo, é colocar ou não em sua expressão, as dimensões que estão no filtro. Repare neste teste com Exclude, excluindo a subcategoria Mesas, como o total de sua categoria muda e a métrica com o Exclude reflete este total.

Porém, ao fazer o mesmo teste com o Fixed, colocando somente categoria na métrica, ele desconsidera o filtro de subcategoria excluindo Mesas.

Repare que o total continua sendo de toda a categoria, sem retirar a subcategoria mesas. Agora repare nesta planilha de vendas por ano:

Vamos filtrar 2011 e colocar nossa métrica de total por categoria - Fixed.

Observe, que enquanto a métrica valor de vendas filtrou 2011, a métrica com Fixed não levou em consideração o filtro. Porém, se adicionarmos em sua definição o atributo Data de Venda, passará a trazer os valores corretos:

E assim concluímos nosso artigo. Na minha opinião se uma ferramenta, seja de BI ou Analytics, não fornecer suporte para métricas de nível, métricas de acumulado YTD, MTD e métricas não agregáveis, como saldo de estoque, saldo bancário, é falha na parte de cálculo. Essas duas ferramentas passam tranquilamente neste teste.

Maiores informações na base de conhecimento Tableau:

15 principais expressões de LOD

Entendendo as Expressões de nível de detalhe (LOD)

Espero que tenham apreciado.

Um abraço.

Fabio Idalgo

Tableau - Table Calculations

No artigo de hoje falaremos um pouco sobre cálculos no Tableau, mais especificamente sobre o recurso Table Calculations.

Esta funcionalidade muito fácil de ser utilizada, permite com poucos cliques, criarmos cálculos avançados como: Percentuais do Total, Rank, Média Móvel, Acumulados, Percentil entre outros.

Para ilustrar nossos exemplos, utilizarei a base de dados que acompanha o Tableau, com a ferramenta Tableau Public. Criei a seguinte análise que servirá para validação de nossos cálculos, com os atributos Categoria e Região nas linhas, e Ano e Trimestre nas colunas. Também habilitei todos os totais para que possamos validar os números.

Dupliquei a planilha, e com um clique na métrica, Add Table Calculation ou Quick Table Calculation conseguimos rapidamente adicionar um Cálculo de Tabela. Escolhi, para nosso exemplo, a função Running Sum, que fará o cálculo acumulado dos valores. Repare que, defni, no caso de acumulado, a função de somatória, poderia ser a média por exemplo. Também preciso definir o nível do cálculo, defini em um primeiro instante Célula, que é a menor unidade, neste caso os valores baterão com a planilha de validação em todas as células.

Depois possuímos diversas opções para definição do nível do cálculo, que vão desde a definição dos atributos propriamente ditos como as opções abaixo:

• Table Across
• Table Down
• Table Across the Down
• Table Down the Across
• Pane Across
• Pane Down
• Pane Across the Down
• Pane Down the Across

Abaixo explicaremos as opções:

1 - Table Across - Realiza a soma horizontalmente da esquerda para a direita, por linha, do primeiro trimestre de 2011 até o quarto trimestre de 2012. Se comparar o valor deste último trimestre 571.026 é o mesmo do Grand Total da linha na planilha da validação.

2 - Pane Across - Realiza a soma horizontalmente da esquerda para a direita, por linha, quebrando por ano. Se comparar o valor do último trimestre de 2011, 293.973 é o mesmo do Total da primeira linha de 2011 na planilha de validação.

3 - Table Down - Realiza a soma vertical de cima para baixo de cada trimestre em todas as regiões em todas categorias. Se comparar o valor final do primeiro trimestre, 696.446 é o mesmo do total da primeira coluna de 2011 na planilha de validação.

4 - Pane Down - Realiza a soma vertical de cima para baixo de todas as regiões, por trimestre, em cada categoria. Se comparar o valor da última região, do primeiro trimestre, na categoria Material de Escritório, 232.558 é o mesmo do total da planilha de validação.

5 - Table Across the Down - Realiza a soma de toda a planilha. A ordem começa horizontalmente na primeira linha, da esquerda para a direita, de T1 2011 até T4 2012, indo em seguida para a segunda linha, da esquerda para a direita, de T1 2011 até T4 2012, repetindo o acumulado nessa ordem da primeira região da primeira categoria em T1 2011 até a última região da segunda categoria em T4 2012. Se você comparar o Grand Total 4.661.999 da planilha de validação é igual ao último valor calculado no Table Calculation.

6 - Table Down the Across, Panel Across the Down, Panel Down the Across - Repetem a lógica acima, levando em consideração se é tabela inteira ou apenas o ano. 

Além do nível de cálculo, você pode utilizar diversos tipos de cálculos disponíveis pela ferramenta, por exemplo, percentual do total (Pane Down - Região dentro da Categoria no Trimestre)

Rank (Pane Down)

Moving Average - Média Móvel dos últimos 6 meses

Maiores informações na base de conhecimento da Tableau:

http://onlinehelp.tableau.com/current/pro/online/en-us/help.htm#calculations_tablecalculations_understanding_addressing.html

Por hoje é isso. Um abraço pessoal e uma boa noite.

Fabio Idalgo

Interagindo com Dashboards no Tableau Server

Após alguns artigos abordando criação de dashboards e análises na ferramenta Tableau Desktop, vou falar agora um pouco sobre o Tableau Server. Este produto, para os iniciantes, fica instalado em um servidor dedicado, e lá ficam publicados seus dashboards e respectivos dados para a comunidade de usuários, que por sua vez, os acessará via navegador web pela URL, ou dispositivo móvel. Válido lembrar que ele funciona em HTML 5

No artigo de hoje, vou mostrar um pouco como interagir, no navegador, com um dashboard de exemplo que acompanha o produto Tableau Server. O nome do dashboard é Executive Overview - Profitability, e falaremos desde as interações mais simples até as mais avançadas e interessantes. Segue a imagem do dashboard abaixo:

Recursos abordados:

• filtros
• legendas
• gráficos
• BI colaborativo
• mapa interativo
• custom views
• agendamento de envio de dashboard por email

As primeiras interações que você pode fazer são através dos filtros, no canto esquerdo da tela. O primeiro tipo abaixo, Order Date, através de um intervalo de data, mude os ponteiros para alterar o range:

O segundo tipo, Region, é uma lista de seleção única. Você pode escolher apenas um valor, ou todos eles, escolhendo a opção (All). No Tableau Desktop é possível desativar esta opção. 

O terceiro filtro State, e terceiro tipo de filtro, é a lista de seleção múltipla. Você pode selecionar mais de uma opção ou todas. Pode fazer combinação de seleções através de cada checkbox.

Assim falamos dos filtros. No Tableau Desktop, é possível configurar os filtros em cascata, um filtrando o outro. 
Agora vamos falar das legendas. Você pode torná-las interativas clicando no pequeno ícone de lápis (ou seria uma caneta?) no canto da legenda:

Agora, clicando na primeira das opções da legenda, ela irá filtrar todos os gráficos de área. Vamos primeiro filtrar todos os pedidos lucrativos (Profitable). Repare que só a parte azul dos gráficos de área são exibidas.

Agora, vamos ver somente os pedidos não lucrativos (Unprofitable), clicando na outra opção da legenda. Somente a área vermelha dos gráficos de área irão aparecer:

Outra interação que você pode fazer é clicando em um gráfico, no caso o mapa, todos os outros refletirão o filtro daquela localidade. Para desfazer a seleção clique na localidade novamente:

Falando em mapa, observe no canto esquerdo do mapa alguns botões que permitem algumas interações adicionais. Além do zoom com os símbolos de "+" e "-", o primeiro ícone é uma lupa, que permite você pesquisar uma localidade. Vamos imaginar que eu não sei onde fica Vermont. Basta clicar na lupa, digitar o nome da localidade e pressionar enter, o mapa automaticamente trará na tela a localidade:

Clicando no ícone da "casinha", você volta a visão original. Abaixo deste ícone, tem um ícone de uma seta, que permite você escolher a maneira que deseja fazer múltiplas seleções no mapa:

Escolha a seleção retangular, e selecione uma área do gráfico contendo várias localidades conforme abaixo:

Solte o botão do mouse e veja que os gráficos abaixo refletirão todas essas localidades selecionadas. Para desfazer basta clicar em uma localidade:

Por fim, a cereja do bolo, as 3 interações que mais gosto. Embaixo do dashboard, é possível adicionar comentários e registrar informações sobre o dashboard, o tornando colaborativo, Sendo que somente você e o administrador pode apagar suas mensagens:

Outra que eu gosto muito pela simplicidade é o envio de emails. Suponha que você deseja receber este dashboard, seja diariamente, semanalmente ou quando desejar. Enquanto outras ferramentas exigem maior complexidade, no Tableau Server existe o ícone de um "envelopinho" no canto superior direito, basta você clicar, seu email já irá aparecer, e você escolhe a periodicidade que deseja receber. A lista de periodicidades é configurada pelo usuário administrador, de forma muito simples. Válido lembrar, que para este recurso funcionar, é necessário o administrador da ferramenta deixar configurado o servidor SMTP e e-mail no utilitário de configuração da ferramenta.

Por fim, a última interação que gostaria de mostrar é a opção de salvar seleções. Suponha que você faça uma determinada seleção com frequência, um conjunto de filtros aplicados ou observou algo interessante em uma análise. É um subconjunto de informações apresentadas pelo seu dashboard. Poderia ser a seleção abaixo:

Para salvar esta seleção, logo acima do título, existe uma opção com o título Remember my changes. Clique nessa opção e atribua um nome para sua visualização.

Sua seleção ficará salva em My Custom Views. Também ficará salva somente no seu usuário e você poderá excluir. Poderá ter várias visualizações salvas.
Agora suponha que você saiu do Tableau, foi embora, passou o final de semana, voltou na segunda-feira e logou novamente na ferramenta e acessou o dashboard:

Clique em Remember My Changes e lá estará sua visão:

Clique nela e como mágica sua seleção aparecerá:

E assim terminamos o artigo.

Espero que tenham gostado. Um Abraço.

Fabio Idalgo

Análises Estatísticas no Tableau parte 2 - Histogramas

Pense e responda rápido: Quantos dashboards você já viu com um gráfico de Histograma?
Eu particularmente lembro de ter visto um em uma galeria de dashboards, mas não lembro de nenhum detalhe adicional. Na ferramenta Tableau é muito fácil de ser implementado, e é possível montar análises interessantes sem ser "fera" em estatística. 

Neste artigo vamos ensinar a montar e interpretar um histograma na ferramenta Tableau.

Para este exemplo, utilizei a versão 9.0 da ferramenta e a base de exemplo que acompanha o produto. Montei rapidamente o histograma primeiro com um duplo-clique na métrica Valor da Venda:

Depois na guia Mostre-me, cliquei no gráfico de histograma. Rapidamente ele criou o histograma, e também na sessão dimensões um recurso do Tableau chamado compartimentos.

Cliquei com o botão direito no compartimento, e alterei o intervalo, de 10.000 em 10.000 para de 2.000 em 2.000 mil.

Depois arrastei a métrica CONT(Valor de Vendas) com a tecla CTRL pressionada até o rótulo. E também cliquei com o botão direito no compartimento e adicionei em filtro rápido.

Aqui já é possível fazer uma leitura do gráfico. Observe:

• Eixo Y - contagem das vendas
• Eixo X - cada barra representa um compartimento, de 2 em 2 mil

Dessa forma, é possível observar, que a maioria das vendas da minha base, são de 0 a 2 mil, são vendas pequenas e não vendas grandes. Podemos observar que 6.527 vendas são de 0 a 2 mil. O segundo perfil de vendas mais realizado é de 2 a 4 mil com 816 vendas. Lembrando que nossa base está por item de pedido, seria necessário que a contagem fosse feita por pedido, mas estamos apenas exemplificando. Este é um comportamento dessa base, a curva poderia ser diferente.

Como nossas vendas de 0 a 2 mil representam um número muito grande de vendas proporcionalmente, os outros compartimentos quase não aparecem. É possível desmarcar este compartimento no filtro, para observar melhor os outros comportamentos.

E por último, você pode colocar a Categoria de Produto na cor, para dividir esta contagem por este atributo:

Assim concluímos nosso artigo, com uma análise do perfil de vendas através do gráfico de Histograma. 

Por hoje é só. Abraços.

Fabio Idalgo

Análises Estatísticas no Tableau parte 1 - boxplot (ou box-whisker)

Em mais de um de nossos artigos, resolvi abordar este tema que são as análises estatísticas nos projetos de BI. Infelizmente, poucos projetos de BI se dão ao luxo de ter um estatístico na equipe ou uma consultoria envolvida. Além disso, é muito difícil encontrarmos gráficos ou conceitos mais avançados em nossos dashboards.

Meu conhecimento também é limitado na área. Porém, resolvi na ferramenta Tableau, estudar e utilizar nos projetos, dois gráficos, tão pouco explorados nas ferramentas de front-end. Vou falar um pouco do diagrama de caixa (boxplot ou box-whisker, como é chamado no Tableau) e histograma, com exemplos simples de criar e interpretar.

O primeiro deles será o boxplot ou box-whisker neste artigo:

A medida que for criando o gráfico, ficará mais claro sua utilidade. Para criar este gráfico, utilizei a base padrão que acompanha o Tableau, na versão 9.0. Primeiramente, criei uma tabela mensal de vendas por subcategorias, filtradas pelo ano de 2014:

Dupliquei a planilha, cliquei na guia Mostre-me e escolhi o gráfico box-whisker

Agora vamos interpretar o gráfico. Primeiro veja que ele mostra uma caixa para cada mês do ano de 2014. E cada pontinho é uma sub-categoria dentro daquele mês:

Repare que se colocar o mouse em outro pontinho, é outra sub-categoria. E que sua posição varia conforme o valor da venda colocado no eixo Y:

Agora vem a pergunta: o que é esta caixa?

Posicionando o mouse sobre ela vemos alguns valores, que representam cada risco da caixa:

• O primeiro risco, o mais baixo, é o valor mínimo. 
• O risco mais alto, é o valor máximo. 
• O risco de baixo da caixa, é o 1º quartil, ou seja, 25%. 
• O risco superior da caixa, é o 3º quartil, ou seja, 75%. 
• Já o risco que divide a caixa em duas cores, é a mediana, ou segundo quartil, 50%.

Imagine que você está vendo as vendas daquele mês, do mínimo até o máximo. Caso ir até o risco superior da caixa por exemplo, representa 75% das vendas. Para ficar mais claro, vou voltar a tabela anterior, filtrar o mês de janeiro e classificar do menor para o maior:

Agora compare o tooltip da caixa de janeiro do boxplot com os valores de janeiros ordenados. 

• whisker inferior = 114 (valor mínimo, subcategoria Elástico)
• quartil inferior = 3.352 (corresponde a subcategoria Canetas e Materiais de Arte)
• mediana = 10.897 (subcategoria Papel)
• quartil superior = 28.833 (subcategoria Telefones e Comunicação)
• whisker superior = 51.888 (subcategoria Máquinas de Escritório)

Duas observações importantes: A primeira é que nem sempre o valor corresponderá a uma subcategoria, observe que em junho por exemplo, o cálculo do 3º quartil está entre duas subcategorias. A outra observação que é a pergunta que você deve estar fazendo é: porque o valor máximo é o penúltimo valor da série e não o último?

Observe o tooltip da última bolinha (subcategoria) de janeiro:

Este valor é chamado de Outlier. Valores desejados de muitos projetos, Outliers são valores atípicos ou dados muito diferente do conjunto, segundo a wikipedia. E estão disponíveis facilmente neste gráfico.

Segue link com toda explicação teórica deste gráfico:

https://pt.wikipedia.org/wiki/Diagrama_de_caixa

E isso é tudo, espero que tenham gostado.

Abraços

Fabio Idalgo