Análise Exploratória

Objetivos de aprendizagem #

• O1. Calcular e interpretar medidas de tendência central e dispersão.
• O2. Escolher a medida adequada à distribuição — e detectar quando a média engana.
• O3. Formular hipóteses a partir de padrões observados, sem confirmá-las nos mesmos dados.
• O4. Identificar outliers e decidir, com critério declarado, o que fazer com eles.

O problema: a rua em que ninguém ganha a média #

Sete moradores de uma rua ganham entre 3 e 6 mil reais por mês. O oitavo ganha 400 mil.

A renda média da rua é 52 mil. O número está aritmeticamente correto e não descreve morador nenhum: não existe uma única pessoa perto dele. Um relatório que diga "renda média de R$ 52 mil" está tecnicamente certo e comunicacionalmente falso.

Antes de modelar, olhe. É a etapa que quase todo mundo pula e quase todo mundo lamenta ter pulado. A análise exploratória não é um relatório bonito: é a etapa em que você descobre que 30% da coluna de renda está zerada, que existem três grafias para a mesma cidade, e que o pico de vendas de março era um erro de importação. E o detalhe cruel é que o modelo não reclama: ele treina em cima do erro de importação, aprende o padrão errado e devolve uma métrica plausível. Quem tinha de reclamar era você, antes.

De onde isto veio #

O aperto. Início dos anos 1960. A estatística acadêmica havia se tornado quase sinônimo de inferência formal: testar, com rigor matemático, uma hipótese previamente formulada. Havia teoria elegante para a pergunta "esse efeito é real?" — e nenhum lugar legítimo para a etapa anterior, a de olhar o dado antes de saber o que perguntar.

O que se fazia antes. Ou se testava uma hipótese, ou não se estava fazendo estatística. Examinar os números sem hipótese na mão era, na melhor das hipóteses, uma preliminar informal que não entrava no artigo.

A virada. John Tukey nomeia análise de dados como disciplina própria, da qual a inferência é um componente, não o todo. É uma jogada de definição antes de ser técnica: uma vez que a exploração tem nome e estatuto, ela pode ter método. E aí vêm as ferramentas: o boxplot, o stem-and-leaf, e o hábito que atravessa tudo, o de preferir medidas resistentes a valores extremos.

A ideia reaproveitável. Antes de testar a resposta, é preciso ter permissão para procurar a pergunta. Um campo que só valoriza a etapa confirmatória fica cego para a etapa que gera a hipótese — e, pior, empurra essa etapa para a informalidade, onde ela acontece assim mesmo, só que sem método e sem registro. Vale muito além da estatística: teste automatizado só verifica o que alguém pensou em perguntar; nenhuma suíte verde descobre a pergunta que ninguém fez.

O nome. Exploratory opõe-se explicitamente a confirmatory — a dupla é dele, e o par é o argumento. Batizar a exploração sozinha seria dar nome a um hábito; com o par, vira divisão de trabalho: uma fase produz hipóteses, a outra as julga — e não se faz as duas com os mesmos dados.

Repare no intervalo: quinze anos entre o manifesto e o livro. É o mesmo formato de 1943→1958 no capítulo III.1 (neurônio → perceptron) e de 1927→1970 no capítulo II.7. O intervalo é o conteúdo: a ideia precisou de mais de uma década, de três rodadas de material mimeografado e de uma geração de alunos para deixar de ser heresia e virar cadeira de graduação. Tukey ainda reaparece na pré-história da validação cruzada (capítulo 0.2) — a mesma intuição, aplicada a outro problema: não julgue com o dado que já foi usado para escolher.

Procedência das afirmações desta seção:

Fundamentos: a média mente, a mediana aguenta #

Volte à rua: 3, 3, 4, 4, 5, 6, 6, 400 (em milhares). A média é 52,1. A mediana, o valor que deixa metade dos dados de cada lado, é 4,5. A diferença não é de precisão, é de natureza: a média usa o valor de cada ponto, então um único extremo a arrasta sem limite; a mediana usa só a posição, e trocar o 400 por 4 milhões a deixa em 4,5. Isso se chama resistência, e é a propriedade que Tukey pôs no centro do método.

O mesmo par existe para dispersão:

O desvio-padrão eleva as diferenças ao quadrado — o que dá ao ponto extremo um voto elevado ao quadrado. O IQR é a largura da faixa que contém os 50% centrais: ignora, por construção, as duas caudas.

Como ler um boxplot. A caixa vai de Q1 a Q3 (é o IQR), e o traço dentro dela é a mediana. Os "bigodes" se estendem até o ponto mais distante que ainda esteja dentro de 1,5 × IQR a partir da borda da caixa; o que sobra é desenhado como ponto individual. Três leituras saem de bater o olho: onde está o centro, quão espalhado é o meio dos dados, e se a mediana está descentrada dentro da caixa, que é sinal de assimetria.

Assimetria é a regra, não a exceção. Renda, tempo de resposta de API, valor de compra, número de sessões por usuário: quase tudo que tem piso em zero e não tem teto forma uma cauda longa à direita. Nessas distribuições, média > mediana sempre, e reportar a média é reportar a cauda.

Olhe uma variável de cada vez #

A análise monovariada é a primeira coisa que se faz e a que mais se pula. Antes de cruzar duas colunas, olhe uma: que tipo é, quantos valores distintos tem, onde está o centro, quanto ela varia, e o que há nas pontas.

Correlação: o que ela mede e o que ela não prova #

A correlação de Pearson resume, num número entre −1 e 1, o quanto duas variáveis andam juntas em linha reta. As duas palavras finais são a armadilha inteira: uma relação forte e curva (um U perfeito, por exemplo) pode dar correlação próxima de zero. Correlação zero não significa "não há relação"; significa "não há relação linear".

O argumento definitivo contra confiar no número sem ver o gráfico é o quarteto de Anscombe (1973): quatro conjuntos de onze pontos cada, com resumo numérico igual e formas completamente diferentes quando plotados.

Vale ver o quanto "igual" é literal. Calculando sobre os quatro conjuntos:

E as formas: um é uma nuvem linear honesta; outro é uma curva perfeita; outro é uma reta com um único ponto fora dela; e no quarto o x vale 8 em dez dos onze pontos, com um único ponto em 19 que sozinho cria a correlação. Mesmo resumo numérico, quatro histórias.

E depois há a frase que todo mundo sabe repetir e quase ninguém aplica na hora certa: correlação não é causalidade. Diante de uma correlação forte, há sempre quatro explicações concorrentes, e só uma delas é a que você quer:

1. A causa é a que você pensou (X causa Y).
2. A causa é a inversa (Y causa X) — comum em dados operacionais: clientes com mais chamados de suporte cancelam mais, ou clientes prestes a cancelar abrem mais chamados?
3. Há um confundidor que causa as duas — o clássico: venda de sorvete e afogamentos sobem juntos porque é verão.
4. É coincidência amostral — teste 200 pares de variáveis e algumas parecerão correlacionadas por acaso.

Há ainda um quinto caso, específico de quem constrói modelos: correlação altíssima com o alvo costuma ser vazamento, não sorte. Se uma coluna prevê o alvo quase perfeitamente, a primeira hipótese não é "achei o atributo de ouro", é "essa coluna foi preenchida depois do desfecho" — o capítulo I.3 trata disso.

Um conjunto para praticar isto. ml-zero/dados/limonada/ traz 365 dias de venda com um caso limpo do que esta seção afirma: preco correlaciona +0,513 com as vendas, e o que essa correlação mede é o mês de julho. A exploração que revela isso é uma linha só, df.groupby("preco")[["temperatura","vendas"]].mean(), e ela precede qualquer modelo. O desdobramento está no capítulo II.2.

Faltantes, outliers e a fronteira entre explorar e confirmar #

Faltantes. A pergunta útil nunca é "como preencho?", é "por que falta?". Falta ao acaso (o sensor caiu numa terça) é um problema de imputação. Falta por mecanismo (renda alta declarada com menos frequência) enviesa qualquer preenchimento pela média. E falta com significado (um campo que só existe para quem comprou) é vazamento disfarçado de ausência. Antes de qualquer dropna(), conte os faltantes por coluna e por subgrupo: um faltante concentrado numa região, num período ou num canal é sinal de processo quebrado, não de dado ausente.

Outliers. Um ponto extremo é uma de três coisas, e a única forma de decidir é olhar a linha inteira:

A regra de 1,5 × IQR do boxplot marca candidatos, não decide nada. Decidir exige critério declarado por escrito: o que foi removido, por qual regra, quantas linhas, e o que acontece com o resultado se a regra mudar. "Limpei os outliers" não é descrição de método; é a ausência de uma.

E a fronteira. Se você olha quarenta gráficos e escolhe o padrão mais forte, você não achou o efeito mais forte: achou o extremo do ruído, a coincidência amostral do item 4 acima, agora garimpada de propósito. É a armadilha que a dupla de Tukey existe para prevenir. A regra prática é simples e barata: separe uma parte dos dados antes de começar a olhar e não a toque; explore no resto à vontade; escreva a hipótese antes de testá-la na parte guardada. Explorar produz candidatas; confirmar exige dado que não participou da escolha. Fazer as duas coisas no mesmo conjunto é o mesmo erro que o capítulo II.1 combate quando o limiar é escolhido no teste.

O produto legítimo de uma boa exploração não é uma conclusão — é uma lista de hipóteses ordenada por quanto valeria confirmá-las, mais uma lista de problemas de dado a consertar. Transformar essa lista em gráfico que convence é o capítulo I.5.

Mão na massa #

Notebook pronto para executar — exploratoria_limonada.ipynb · abrir no Colab

O mesmo caminho do laboratório, agora com o código à vista: tipo de cada campo, contagem e nulidade, média × mediana × moda, decis e quartis (com a verificação de que P50 = Q2 = D5), histograma e boxplot desenhados juntos na mesma escala, e a regra da cerca de 1,5 × IQR calculada coluna a coluna.

Este é o único notebook da trilha que usa pandas e matplotlib — as duas já vêm no Colab. A razão está no ADR 0010: o assunto aqui é ler distribuição, e desenhar histograma à mão ensinaria sobre desenho. A conta em si (quantil, cerca, descritivas) está escrita à mão no laboratório, em 30 linhas de JavaScript.

Síntese — o que levar #

• Sempre olhe antes de modelar. O modelo não avisa que a coluna está zerada; ele aprende o erro e devolve uma métrica plausível.
• Média usa o valor de cada ponto; mediana usa a posição. Por isso a mediana resiste a extremos e a média não.
• Distribuição assimétrica ou com extremos: mediana + IQR. Simétrica e limpa: média + desvio-padrão.
• O boxplot entrega centro, dispersão e assimetria numa olhada — e a regra de 1,5 × IQR marca candidatos, não decide.
• Resumo numérico comprime. O quarteto de Anscombe é a prova de que estatísticas idênticas convivem com gráficos irreconhecíveis.
• Diante de uma correlação forte, enumere as quatro explicações antes de escolher a sua — e desconfie de correlação altíssima com o alvo: costuma ser vazamento. Faltante também tem causa, e descobri-la vale mais que preenchê-lo.
• Explorar gera hipóteses; confirmar exige dado que não participou da exploração. Separe a parte guardada antes de olhar.

Verificação #

1. Um relatório diz "ticket médio de R$ 340". Que três perguntas você faz antes de usar esse número numa decisão?
2. Duas colunas têm correlação de 0,9. Liste as explicações possíveis e diga, para cada uma, que evidência adicional a distinguiria das demais.

Estas duas não são corrigidas, e a omissão é deliberada: rendem mais numa discussão com alguém que discorde do que numa resposta escrita sozinho.