Modelos Lineares

Objetivos de aprendizagem #

• O1. Derivar a regressão linear como minimização do erro quadrático.
• O2. Obter as equações normais da reta e calcular a inclinação e o intercepto ótimos.
• O3. Interpretar os coeficientes de um modelo linear — e dizer o que eles não significam.
• O4. Reconhecer as situações em que o modelo linear é a escolha certa, não a escolha simplória.

Este capítulo trata só de regressão linear. A regressão logística — que tem "regressão" no nome e classifica — ganhou capítulo próprio: 28 — Regressão Logística. Compartilham a forma w·x + b e quase nada além disso: perdas diferentes, saídas em unidades diferentes, e uma tem solução fechada enquanto a outra não tem.

O problema: o modelo que todo mundo aprende e quase ninguém respeita #

O capítulo 07 mostrou o modelo linear perdendo feio: 0,4963 de AUC contra 0,9392 do boosting. Se você leu aquele capítulo primeiro, saiu dele com a impressão de que linear é o modelo dos iniciantes.

É a impressão errada, e este capítulo existe para corrigi-la. Naquele experimento, o dado foi construído com uma fronteira irregular — o terreno onde a reta não tem chance. Troque o terreno e a conclusão vira:

• com poucos dados por atributo, o linear frequentemente ganha, porque tem menos o que estimar errado;
• quando a decisão precisa ser auditada, ele é o único que entrega um número por atributo que alguém consegue defender numa reunião;
• quando a saída vira probabilidade que multiplica dinheiro, ele nasce razoavelmente calibrado, enquanto ensembles precisam de correção posterior (cap. 04).

E há a razão pedagógica: é no modelo linear que otimização, regularização e interpretação aparecem na forma mais limpa. Quem não entende gradiente aqui não vai entender numa rede de doze camadas.

De onde isto veio #

O aperto. Virada do século XVIII para o XIX, astronomia. Um cometa ou um planeta é observado várias vezes, por instrumentos diferentes, em noites diferentes — e nenhuma das observações concorda com as outras. A órbita verdadeira é uma só; os dados são muitos e discordantes. O astrônomo precisa de uma curva, e não tem critério defensável para escolhê-la.

O que se fazia antes. Escolhia-se a olho, descartava-se a observação que parecia pior, ou faziam-se médias de subconjuntos convenientes. Todos os caminhos tinham o mesmo defeito: dois astrônomos competentes, com os mesmos dados, chegavam a órbitas diferentes — e não havia como decidir quem estava certo.

A virada. Trocar "a melhor curva" por uma regra explícita do que significa melhor: aquela que torna mínima a soma dos quadrados dos desvios. A regra não é mais verdadeira que as outras — ela é pública. Dados os mesmos números, devolve a mesma resposta para qualquer pessoa.

A ideia reaproveitável. Uma função de perda é um critério de arbitragem, não uma descoberta sobre o mundo. Ela existe para tornar a escolha reproduzível e discutível. É por isso que a pergunta "por que erro quadrático, e não valor absoluto?" tem resposta honesta — conveniência matemática mais uma hipótese sobre o ruído — e não a resposta "porque é o certo". Trocar a perda é trocar o critério de arbitragem: decisão de projeto, nunca detalhe técnico.

O nome. Mínimos quadrados — moindres carrés — foi batizado por Legendre, e o nome é literalmente a definição do critério.

A disputa de prioridade mais famosa da estatística #

Legendre publicou primeiro, em 1805, em Nouvelles méthodes pour la détermination des orbites des comètes, e deu ao método o nome que ficou. Gauss publicou em 1809 (Theoria motus corporum coelestium) afirmando usar o método desde 1795.

Legendre reagiu mal, e o argumento dele é o que interessa aqui: prioridade se estabelece por publicação. Em 1820 atacou publicamente a reivindicação. Gauss entendia prioridade como ser o primeiro a descobrir, e apoiava-se em registros privados e correspondência — Olbers (1816) e Bessel (1832) publicaram notas confirmando ter visto o método com ele antes. A avaliação histórica moderna é que Gauss provavelmente tinha o método antes e falhou em comunicá-lo.

O espelho disto está no capítulo 18. Lá, quem leva o crédito pelo backpropagation são os últimos (Rumelhart et al., 1986), não o primeiro (Linnainmaa, 1970), e Schmidhuber resume: não é o primeiro inventor que leva o crédito, é o último reinventor. Aqui o caso é o inverso exato — o primeiro descobridor perde para o primeiro publicador.

Juntos, os dois dizem o que nenhum diz sozinho: crédito não segue descoberta, segue comunicação. Vale para o seu trabalho: o experimento que você não registrou, datou e tornou reproduzível é, na prática, um experimento que não aconteceu. É a razão de este livro exigir script, seed e saída colada — e não é burocracia.

Procedência das afirmações desta seção:

Fundamentos: regressão linear como minimização #

O modelo é uma reta (ou um plano, ou um hiperplano):

Resta escolher os $w$. O critério: minimizar a soma dos erros ao quadrado.

Por que ao quadrado, e não em valor absoluto? Três razões, em ordem de honestidade:

1. É diferenciável em todo ponto, o que faz o otimizador funcionar sem casos especiais. O valor absoluto tem um bico em zero.
2. Tem solução fechada. Derivando e igualando a zero, chega-se às equações normais — um sistema linear que se resolve de uma vez, sem iteração.
3. Pune o erro grande desproporcionalmente, o que às vezes é o que você quer e às vezes não é. Se houver outliers, o erro quadrático os persegue — e aí o erro absoluto é a escolha certa. Esta é uma decisão de modelagem, não uma constante da natureza.

A solução fechada existe e está implementada na etapa 05, em 25 linhas de eliminação de Gauss. Vale conferir: gradiente e solução fechada chegam ao mesmo lugar — no experimento, com diferença menor que 0,05 em cada coeficiente. Isso desmistifica o gradiente, que passa a ser um jeito de resolver, não o jeito.

Se a solução fechada existe e é exata, por que usar gradiente? Porque ela envolve inverter uma matriz $d\times d$ — inviável com muitos atributos — e porque ela não existe para a regressão logística (capítulo 28). O gradiente é a ferramenta geral; a solução fechada é o caso de sorte.

Ponha a reta à mão #

Antes da fórmula, o gesto. Arraste a reta até achar que está boa, e olhe o número subir e descer enquanto você mexe.

A dedução, em cinco passos #

O laboratório mostrou que existe um fundo do poço. Esta seção mostra por que ele existe e como chegar nele por conta, sem tentativa e erro. É a diferença entre usar a fórmula e saber de onde ela vem.

Com um atributo, a reta é $\hat{y}=ax+b$, e o critério é a soma dos quadrados dos resíduos:

Passo 1 — por que há um mínimo, e um só. $S$ é uma soma de quadrados: é uma superfície convexa em $(a,b)$, uma tigela. Tigela tem um fundo, e só um. É a razão de o laboratório sempre convergir para a mesma reta, venha você por onde vier.

Passo 2 — no fundo, as derivadas se anulam. Derivando em relação a $b$:

onde $r_i=y_i-a{x}_i-b$ é o resíduo. A soma dos resíduos é zero. Dividindo por $n$: $\overline{y}=a\overline{x}+b$, ou seja,

A reta ótima passa pelo centro de massa dos dados — sempre, em qualquer conjunto. É um resultado que se vê no laboratório: gire a reta ótima em torno de um ponto e ele será $(\overline{x},\overline{y})$.

Passo 3 — a segunda condição. Derivando em relação a $a$:

Os resíduos são ortogonais ao atributo. Traduzindo: o que sobrou de erro não tem mais nada de linear em $x$ — se tivesse, a reta ainda poderia melhorar. É o significado geométrico do ajuste, e vale para qualquer número de atributos.

Passo 4 — resolver o sistema. Substituindo $b=\overline{y}-a\overline{x}$ na segunda condição e reorganizando em torno das médias:

Duas contas — uma soma de produtos e uma soma de quadrados — e a reta está pronta. Sem iteração, sem taxa de aprendizado, sem critério de parada.

Passo 5 — o que a fórmula avisa. O denominador é a variação de $x$. Se $S_{xx}=0$, todos os $x$ são iguais, e não existe reta: nenhuma inclinação é melhor que outra. Não é falha numérica — é o dado não conter a informação. É o mesmo fenômeno que apareceu no caso da limonada mais adiante, onde o preço não varia dentro de nenhum mês.

Isto é a versão com um atributo do que a etapa 05 do ml-zero faz para $d$ atributos. Lá as duas condições viram um sistema $d\times d$ — as equações normais — resolvido por eliminação de Gauss. A ideia é idêntica: derivar, igualar a zero, resolver. O que cresce é a álgebra, não o conceito.

vendas = 3,192
       + 0,3692 · temperatura
       − 2,2460 · precipitacao
       + 0,0188 · panfletos
       + 2,4143 · preco          R² = 0,982

import pandas as pd
df = pd.read_csv("ml-zero/dados/limonada/limonada.csv", parse_dates=["data"])

df.corr(numeric_only=True)["vendas"]            # a tabela ingênua
df.groupby("preco")[["temperatura", "vendas"]].mean()   # a revelação
df.assign(mes=df.data.dt.month).groupby("preco").mes.unique()

df.assign(mes=df.data.dt.month).groupby("mes").preco.nunique()   # tudo 1