Regressão Logística

Objetivos de aprendizagem #

• O1. Explicar por que a regressão logística é um modelo de classificação apesar do nome.
• O2. Interpretar um coeficiente como efeito sobre a razão de chances, e não sobre a probabilidade.
• O3. Justificar por que a perda é a entropia cruzada e por que não há solução fechada.

Este capítulo saiu do 05 — Modelos Lineares, onde dividia espaço com a regressão linear. Compartilham a forma $w\cdot x+b$ e quase nada além disso.

O problema: o classificador que finge ser regressão #

Você quer prever se o cliente vai pagar: sim ou não. Tem os atributos, tem os rótulos 0 e 1, e tem uma regressão linear que já funciona. A tentação é imediata — ajuste a reta contra o rótulo e chame de classificador.

O resultado é ruim de um jeito específico. A reta prevê 1,7 para um cliente e −0,4 para outro. Não são probabilidades, e nenhum arredondamento conserta: o problema não é o valor, é que a reta não tem teto nem piso, e a resposta que você quer tem os dois.

Pior: a perda quadrática pune o modelo por acertar com folga. Um cliente claramente bom, previsto em 1,5 quando o rótulo é 1, gera erro — e o ajuste puxa a reta para trás por causa de um caso que ele já resolveu.

O conserto não é limitar a saída na marra. É mudar o que se modela.

De onde isto veio #

O aperto. Meados do século XX, epidemiologia e bioensaio. A pergunta prática: dada uma dose, qual a probabilidade de o organismo responder? Havia método consolidado — o probit, baseado na normal acumulada —, e ele funcionava. Só que exigia tabelas, iteração pesada para a época, e entregava um coeficiente que ninguém conseguia explicar a um médico.

O que se fazia antes. Ajustava-se o probit e reportava-se o resultado na escala da normal. A pergunta "quanto muda o risco se a dose dobrar?" não tinha resposta em linguagem clínica. Alternativamente, ignorava-se tudo e ajustava-se uma reta na proporção observada — com o defeito de prever probabilidades negativas nas doses baixas.

A virada. Modelar não a probabilidade, mas o logaritmo da razão de chances:

O lado esquerdo varre a reta inteira, de $-\mathrm{\infty }$ a $+\mathrm{\infty }$; o direito é linear. O teto e o piso deixam de ser uma restrição a impor e passam a ser consequência da forma escolhida.

A ideia reaproveitável. Quando a saída tem fronteiras e o modelo não, transforme a saída — não restrinja o modelo. É o mesmo movimento que aparece no logaritmo de valores positivos, no softmax de várias classes e na função de ligação de qualquer modelo linear generalizado. A restrição vira mudança de escala, e o maquinário linear continua valendo inteiro.

O nome. Logit, contração de logistic unit, cunhado por Joseph Berkson em 1944 — deliberadamente ecoando probit (probability unit), do método concorrente. O nome carrega a polêmica: era uma proposta de substituição, não de complemento. A palavra logística vem antes, da curva logística de Pierre François Verhulst (1838), estudando crescimento populacional limitado — a mesma curva em S, chegando aqui por outro caminho.

Procedência das afirmações desta seção:

Dívida declarada. As três fontes acima estão seladas ✓ᵐ: sei que existem, com DOI conferido, e não as li. O que este capítulo afirma sobre o que elas argumentam por dentro está, portanto, apoiado em leitura secundária. É a dívida D10 do roadmap, e se paga lendo — não suavizando o texto.

Fundamentos: a sigmoide e o logito #

Invertendo a equação da virada, chega-se à forma que se usa para prever:

A sigmoide comprime a reta inteira em $[0,1]$: manda $-\mathrm{\infty }$ para 0, $0$ para $0,5$ e $+\mathrm{\infty }$ para 1.

O ponto que dá nome ao modelo é a volta:

O que é linear nos atributos não é a probabilidade — é o logito, o logaritmo da razão de chances. A regressão logística é uma regressão linear sobre o logito, usada para classificar.

Por que a perda muda, e por que a solução fechada some #

O capítulo 05 deduziu a reta ótima em cinco passos, e o quarto entregou uma fórmula. Aqui o mesmo caminho não chega ao fim — e vale entender onde ele para.

Primeiro, a perda. Usar erro quadrático sobre a saída da sigmoide dá uma superfície não convexa: aparecem mínimos locais, e o otimizador pode parar num deles. A perda usada é a entropia cruzada (ou log-loss):

Ela é convexa em $w$, e tem uma leitura direta: pune muito a previsão confiante e errada. Prever 0,99 para quem era 0 custa $\log (0,01)$ — um número grande. Prever 0,5 custa pouco em comparação. O modelo aprende a ter medo de errar com convicção, que é exatamente o comportamento que se quer de uma probabilidade que vai virar decisão.

Segundo, o que some. Derivando a entropia cruzada e igualando a zero, chega-se a

que tem a mesma forma da condição do capítulo 05 — resíduo ortogonal ao atributo. Só que aqui o "resíduo" contém $\sigma (\cdot )$, e $w$ está dentro de uma função não linear. Não há como isolar $w$: o sistema é transcendental.

É por isso que a logística não tem equações normais, e o gradiente deixa de ser uma alternativa elegante para virar a única saída. A frase do capítulo 05 — "o gradiente é a ferramenta geral; a solução fechada é o caso de sorte" — recebe aqui a sua demonstração.

Interpretar o coeficiente: chance, não probabilidade #

Aumentar $x_j$ em uma unidade multiplica a razão de chances por $e^{w_j}$.

Um coeficiente de 0,7 significa chance multiplicada por $e^{0,7}\approx 2$ — a chance dobra. Não a probabilidade: a chance.

A diferença é grande e é onde os relatórios erram:

O mesmo coeficiente move a probabilidade em 8, 17 e 5 pontos percentuais, dependendo de onde se estava. Por isso "este atributo aumenta o risco em X pontos" é uma frase sem sentido fora de um ponto específico.

E tudo o que o capítulo 05 diz sobre o que o coeficiente não significa continua valendo aqui, palavra por palavra: não é causa, não é comparável sem padronização, não é estável sob colinearidade e não vale fora da faixa observada.

Mão na massa #

A etapa 05–06 do ml-zero traz RegressaoLogistica em biblioteca padrão, com regularização L1 e L2 e leitura por razao_de_chances(). O otimizador é o mesmo da linear — só a função de perda muda, que é o ponto da arquitetura do capítulo 06.

Notebook — regressao_limonada.ipynb cobre a linear. Um notebook próprio para a logística está na fila; enquanto isso, o caminho é importar RegressaoLogistica da mesma etapa e ajustar contra um rótulo binário.

Assista #

Síntese — o que levar #

• A logística classifica. O nome vem de modelar o logito com uma regressão linear.
• Teto e piso não são impostos ao modelo: são consequência de transformar a saída. Quando a resposta tem fronteiras e o modelo não, mude a escala da resposta.
• A perda é entropia cruzada, não erro quadrático — por convexidade, e porque punir a confiança errada é o comportamento desejado.
• Não há solução fechada: ao anular a derivada, o peso fica preso dentro da sigmoide.
• O coeficiente multiplica a razão de chances por $e^w$. O efeito em pontos percentuais depende de onde se estava.

Verificação #

1. Explique por que a regressão logística tem "regressão" no nome, sem usar a palavra "sigmoide".
2. Um coeficiente vale 1,1. Um colega diz que o atributo "aumenta o risco em 110%". O que está errado na frase, e qual seria a correta?
3. Por que usar erro quadrático com a sigmoide é uma má ideia — e qual das duas razões (convexidade ou punição do erro confiante) você considera a mais grave?
4. Onde exatamente a dedução do capítulo 05 para de funcionar aqui?