Regressão Logística

Objetivos de aprendizagem #

• O1. Explicar por que a regressão logística é um modelo de classificação apesar do nome.
• O2. Interpretar um coeficiente como efeito sobre a razão de chances, e não sobre a probabilidade.
• O3. Justificar por que a perda é a entropia cruzada e por que não há solução fechada.

Este capítulo saiu do II.2 — Modelos Lineares, onde dividia espaço com a regressão linear. Compartilham a forma $w\cdot x+b$ e quase nada além disso.

O problema: o classificador que finge ser regressão #

Você quer prever se o cliente vai pagar: sim ou não. Tem os atributos, tem os rótulos 0 e 1, e tem uma regressão linear que já funciona. A tentação é imediata — ajuste a reta contra o rótulo e chame de classificador.

O resultado é ruim de um jeito específico. A reta prevê 1,7 para um cliente e −0,4 para outro. Não são probabilidades, e nenhum arredondamento conserta: o problema não é o valor, é que a reta não tem teto nem piso, e a resposta que você quer tem os dois.

Pior: a perda quadrática pune o modelo por acertar com folga. Um cliente claramente bom, previsto em 1,5 quando o rótulo é 1, gera erro — e o ajuste puxa a reta para trás por causa de um caso que ele já resolveu.

O conserto não é limitar a saída na marra. É mudar o que se modela.

De onde isto veio #

O aperto. Meados do século XX, epidemiologia e bioensaio. A pergunta prática: dada uma dose, qual a probabilidade de o organismo responder? Havia método consolidado, o probit, baseado na normal acumulada, e ele funcionava. Só que exigia tabelas, iteração pesada para a época, e entregava um coeficiente que ninguém conseguia explicar a um médico.

O que se fazia antes. Ajustava-se o probit e reportava-se o resultado na escala da normal. A pergunta "quanto muda o risco se a dose dobrar?" não tinha resposta em linguagem clínica. Alternativamente, ignorava-se tudo e ajustava-se uma reta na proporção observada — com o defeito de prever probabilidades negativas nas doses baixas.

A virada. Modelar não a probabilidade, mas o logaritmo da razão de chances:

O lado esquerdo varre a reta inteira, de $-\mathrm{\infty }$ a $+\mathrm{\infty }$; o direito é linear. O teto e o piso deixam de ser uma restrição a impor e passam a ser consequência da forma escolhida.

A ideia reaproveitável. Quando a saída tem fronteiras e o modelo não, transforme a saída — não restrinja o modelo. É o mesmo movimento que aparece no logaritmo de valores positivos, no softmax de várias classes e na função de ligação de qualquer modelo linear generalizado. A restrição vira mudança de escala, e o maquinário linear continua valendo inteiro.

O nome. Logit, contração de logistic unit (em português, logito), foi cunhado por Joseph Berkson em 1944. A história de referência sobre a origem do modelo é direta quanto ao gesto: ele "proposed the use of the logistic, coining the term 'logit' by analogy to the 'probit' of Bliss (for which he was initially much derided)". O nome era um eco proposital do concorrente, e Berkson foi bastante ridicularizado por isso no começo.

A polêmica que se seguiu não foi só entre as duas escalas, e essa parte costuma sumir no resumo. Nas palavras da mesma fonte, "the issue of logit versus probit was tangled by Berkson's simultaneous attacks on the method of maximum likelihood and his advocacy of minimum chi-squared estimation instead". Ou seja: a briga do logito contra o probito veio embrulhada numa segunda briga, sobre como estimar, e chegou ao ponto de trocas ácidas entre Berkson e R. A. Fisher.

Vale registrar a ironia, porque ela é o padrão que este livro persegue: o próprio probito tem paternidade disputada. A invenção é usualmente creditada a Gaddum (1933) e Bliss (1934), e a mesma fonte adverte que isso "is too simple", com raízes que recuam até Fechner, no século XIX.

A palavra logística vem antes de tudo isso, da curva de Pierre François Verhulst (1838), estudando crescimento populacional limitado. É a mesma curva em S, chegando aqui por outro caminho.

Procedência das afirmações desta seção:

Dívida declarada. As três fontes acima estão seladas ✓ᵐ: sei que existem, com DOI conferido, e não as li. O que este capítulo afirma sobre o que elas argumentam por dentro está, portanto, apoiado em leitura secundária. É a dívida D10 do roadmap, e se paga lendo, não suavizando o texto.

Fundamentos: a sigmoide e o logito #

Invertendo a equação da virada, chega-se à forma que se usa para prever:

A sigmoide comprime a reta inteira em $[0,1]$: manda $-\mathrm{\infty }$ para 0, $0$ para $0,5$ e $+\mathrm{\infty }$ para 1.

O ponto que dá nome ao modelo é a volta:

O que é linear nos atributos não é a probabilidade — é o logito, o logaritmo da razão de chances. A regressão logística é uma regressão linear sobre o logito, usada para classificar.

Por que a perda muda, e por que a solução fechada some #

O capítulo II.2 deduziu a reta ótima em cinco passos, e o quarto entregou uma fórmula. Aqui o mesmo caminho não chega ao fim — e vale entender onde ele para.

Primeiro, a perda. Usar erro quadrático sobre a saída da sigmoide dá uma superfície não convexa: aparecem mínimos locais, e o otimizador pode parar num deles. A perda usada é a entropia cruzada (ou log-loss):

Ela é convexa em $w$, e tem uma leitura direta: pune muito a previsão confiante e errada. Prever 0,99 para quem era 0 custa $\log (0,01)$ — um número grande. Prever 0,5 custa pouco em comparação. O modelo aprende a ter medo de errar com convicção, que é exatamente o comportamento que se quer de uma probabilidade que vai virar decisão.

Segundo, o que some. Derivando a entropia cruzada e igualando a zero, chega-se a

que tem a mesma forma da condição do capítulo II.2 — resíduo ortogonal ao atributo. Só que aqui o "resíduo" contém $\sigma (\cdot )$, e $w$ está dentro de uma função não linear. Não há como isolar $w$: o sistema é transcendental.

É por isso que a logística não tem equações normais, e o gradiente deixa de ser uma alternativa elegante para virar a única saída. A frase do capítulo II.2, "o gradiente é a ferramenta geral; a solução fechada é o caso de sorte", recebe aqui a sua demonstração.

Interpretar o coeficiente: chance, não probabilidade #

Uma definição antes da leitura, porque a palavra trabalha contra o capítulo. A chance (odds) de um evento é a razão entre a probabilidade de ele ocorrer e a de não ocorrer, $p/(1-p)$: probabilidade 0,5 é chance 1 — "um para um"; probabilidade 0,9 é chance 9. No português do dia a dia, "chance" é sinônimo de probabilidade. Aqui não é, e essa é justamente a distinção que o capítulo existe para ensinar. A razão de chances é o quociente entre duas chances.

Aumentar $x_j$ em uma unidade multiplica a chance por $e^{w_j}$ — ou seja, produz uma razão de chances de $e^{w_j}$.

Um coeficiente de 0,7 significa chance multiplicada por $e^{0,7}\approx 2$ — a chance dobra. Não a probabilidade: a chance.

A diferença é grande e é onde os relatórios erram:

O mesmo coeficiente move a probabilidade em 8, 17 e 5 pontos percentuais, dependendo de onde se estava. Por isso "este atributo aumenta o risco em X pontos" é uma frase sem sentido fora de um ponto específico.

E tudo o que o capítulo II.2 diz sobre o que o coeficiente não significa continua valendo aqui, palavra por palavra: não é causa, não é comparável sem padronização, não é estável sob colinearidade e não vale fora da faixa observada.

Mão na massa #

A etapa 05–06 do ml-zero traz RegressaoLogistica em biblioteca padrão, com regularização L1 e L2 e leitura por razao_de_chances(). O otimizador é o mesmo da linear — só a função de perda muda, que é o ponto da arquitetura do capítulo II.4.

Notebook — regressao_limonada.ipynb cobre a linear. Um notebook próprio para a logística está na fila; enquanto isso, o caminho é importar RegressaoLogistica da mesma etapa e ajustar contra um rótulo binário.

Assista #

Síntese — o que levar #

• A logística classifica. O nome vem de modelar o logito com uma regressão linear.
• Teto e piso não são impostos ao modelo: são consequência de transformar a saída. Quando a resposta tem fronteiras e o modelo não, mude a escala da resposta.
• A perda é entropia cruzada, não erro quadrático — por convexidade, e porque punir a confiança errada é o comportamento desejado.
• Não há solução fechada: ao anular a derivada, o peso fica preso dentro da sigmoide.
• O coeficiente multiplica a razão de chances por $e^w$. O efeito em pontos percentuais depende de onde se estava.

Verificação #

1. Explique por que a regressão logística tem "regressão" no nome, sem usar a palavra "sigmoide".
2. Um coeficiente vale 1,1. Um colega diz que o atributo "aumenta o risco em 110%". O que está errado na frase, e qual seria a correta?
3. Por que usar erro quadrático com a sigmoide é uma má ideia — e qual das duas razões (convexidade ou punição do erro confiante) você considera a mais grave?
4. Onde exatamente a dedução do capítulo II.2 para de funcionar aqui?