Objetivos de aprendizagem
- O1. Explicar por que a escolha de representação limita o que qualquer modelo pode aprender.
- O2. Aplicar codificação adequada a variáveis categóricas de alta e baixa cardinalidade.
- O3. Justificar quando normalizar e quando não faz diferença nenhuma.
- O4. Construir atributos a partir de conhecimento de domínio e medir se eles pagaram.
O problema: o modelo só vê o que você mostrou
Um modelo não vê o mundo: vê os números que você escolheu mostrar a ele. Essa escolha, a representação, determina o teto de qualquer algoritmo que venha depois. Nenhuma quantidade de otimização recupera informação que não foi codificada.
O exemplo canônico é a data. Como inteiro (1721692800), ela é quase inútil: o modelo teria de descobrir sozinho que o mundo se repete a cada 604 800 segundos. Decomposta em dia da semana, hora do dia e proximidade de feriado, ela frequentemente carrega a maior parte do sinal. O dado é o mesmo. O que mudou foi o que o modelo consegue enxergar.
É por isso que este capítulo vem antes dos modelos, e não depois. Trocar de algoritmo é barato; descobrir que a informação nunca esteve na tabela é caro.
representacao-e11escolha umaA mesma data aparece de duas formas: como inteiro 1721692800 e decomposta em dia da semana, hora e proximidade de feriado. O que muda entre as duas?
De onde isto veio
O aperto. Anos 1950, Universidade da Pensilvânia. Zellig Harris queria uma linguística que partisse só do corpus, isto é, dos textos observáveis, sem apelar para intuição de significado nem para dicionário. A influência declarada era a teoria da informação de Shannon. O aperto: significado parecia ser exatamente aquilo que não se pode medir.
O que se fazia antes. Significado descrito por definição, introspecção ou autoridade lexicográfica. Nada disso é observável, e nada disso é computável.
A virada. Em 1954, nas páginas 156 e 157 do artigo "Distributional Structure", Harris mostra como induzir o sentido de palavras como oculist, eye-doctor e lawyer a partir da sobreposição dos ambientes em que ocorrem. Entre oculist e eye-doctor a sobreposição é quase completa; entre oculist e lawyer, apenas parcial. Diferença de sentido vira diferença de distribuição observável. É a hipótese distribucional, e é a fundação conceitual de tudo o que hoje se chama embedding.
A ideia reaproveitável, e ela vale muito além de texto. Representar não é descrever a coisa: é registrar a companhia que a coisa mantém. Não existe "o vetor do cliente"; existe o vetor do cliente em relação ao conjunto. É isso que faz one-hot, TF-IDF e embedding pertencerem a um capítulo só: todos trocam a essência do item pela posição dele numa coleção. Mude a coleção e a representação muda, sem que o item tenha mudado nada.
O nome. A frase que carrega a ideia é de J. R. Firth (1957): "You shall know a word by the company it keeps". Ele a usa para um modo específico de significado, o "meaning by collocation" (Firth, 1957b, p. 194), buscando as colocações habituais em que a palavra está mais caracteristicamente incrustada.
O terceiro caso, e o mais desconfortável
Harris tinha o argumento. Dezessete páginas de definições formais e exemplos trabalhados, em 1954. Firth tinha a frase, três anos depois. E todo mundo cita Firth.
É a terceira vez que este livro tropeça no mesmo padrão. No capítulo II.2, Gauss descobre os mínimos quadrados e Legendre leva a prioridade por ter publicado. No capítulo III.1, Linnainmaa descreve a retropropagação e Rumelhart leva o crédito por ter popularizado. Aqui, o argumento inteiro é de um e a citação é do outro.
O que circula não é a contribuição: é a forma citável da contribuição. Isso não é cinismo, é instrução prática — se você quer que a sua ideia seja usada, ela precisa caber numa frase que alguém consiga repetir. A frase não substitui o argumento; ela é o veículo dele.
Cinquenta e nove anos entre a ideia e o procedimento
A hipótese distribucional é de 1954. O word2vec, de Mikolov, Chen, Corrado e Dean, é de janeiro de 2013, com a regularidade que ficou famosa: rei − homem + mulher ≈ rainha.
São cinquenta e nove anos, um dos maiores intervalos registrados neste livro, maior que os 43 de Yule → Box–Jenkins (capítulo II.7) e que os 43 de Larson → Stone (capítulo 0.2). No meio do caminho, a linha vetorial foi sendo construída. Em 1972, Karen Spärck Jones mostra que especificidade é estatística, não semântica: pesa-se o termo pela raridade na coleção. Em 1973, Salton e Yang multiplicam a frequência do termo por aquela fórmula e batizam o resultado de idf. Em 1975, o modelo de espaço vetorial é formalizado no sistema SMART, em Cornell.
Repare no detalhe do TF-IDF: ela inventou, eles nomearam. O padrão de novo.
Procedência das afirmações desta seção:
| Selo | Afirmação |
|---|---|
| ✓ | Que Harris parte do corpus sob influência declarada de Shannon, e a frase de Firth com o sentido de meaning by collocation — via Brunila & LaViolette (2022), arXiv:2205.07750, lido, que faz leitura cerrada dos dois originais |
| ✓ | O exemplo oculist / eye-doctor / lawyer e a direção de cada sobreposição (quase completa entre as duas primeiras, parcial com a terceira), além da localização nas páginas 156–157 e da atribuição do meaning by collocation à p. 194 de Firth — tudo em Brunila & LaViolette (NAACL 2022), lido, que cita os originais com página |
| ✓ᵐ | Harris, "Distributional Structure", Word 10(2–3):146–162, 1954. O artigo original não foi aberto (paywall): o que se leu foi a leitura cerrada que Brunila & LaViolette fazem dele |
| ✓ᵐ | Spärck Jones (Journal of Documentation 28:11–21, 1972); Salton, Wong & Yang (CACM 18:613–620, 1975); Mikolov et al. (arXiv:1301.3781, 16/01/2013) |
| ✓ᵐ | Suits, "Use of Dummy Variables in Regression Equations", JASA 52:548–551, 1957 — e que o próprio Suits diz que a técnica não era nova; o que faltava era expor o procedimento, inclusive a restrição obrigatória |
| ⏳ | Que Salton & Yang batizaram o "idf" a partir da fórmula de Spärck Jones. A ficha do artigo está conferida ("On the specification of term values in automatic indexing", Journal of Documentation 29(4):351–372, 1973, 10.1108/eb026562); quem cunhou o termo, não |
| ⏳ | Que "one-hot" vem de circuito digital, onde a única combinação legal é um bit alto — não localizei o primeiro uso datado |
| 📖 | A ideia reaproveitável, a leitura sobre a "forma citável" e a contagem dos 59 anos |
Fundamentos: as três decisões
Toda representação responde a três perguntas, e errar qualquer uma custa mais que trocar de modelo.
1. Categórica: quantos valores diferentes existem?
Para baixa cardinalidade (cor, estado civil, região — dezenas de valores), o one-hot é o padrão: uma coluna por valor, com 1 na coluna correspondente e 0 nas demais.
O nome vem do circuito digital, onde a única combinação válida é ter exatamente um bit alto. Em estatística a mesma técnica é a variável dummy, e ela é bem mais velha: Daniel Suits a expôs em 1957 — dizendo, aliás, que já não era nova.
A armadilha das dummies tem 69 anos e continua sendo a primeira em que o aluno pisa. Se você criar uma coluna para cada valor e mantiver o intercepto, as colunas somam exatamente 1 em toda linha, que é informação perfeitamente redundante. Numa regressão isso torna a solução indeterminada. A regra é: omita uma categoria, ou tire o intercepto. Nunca os dois, nunca nenhum.
Para alta cardinalidade (CEP, código de produto, ID de usuário — milhares de valores), one-hot explode: você ganha dez mil colunas quase vazias e um modelo que decora. As saídas são agrupar por frequência (tudo que aparece pouco vira "outros"), codificar pelo alvo, com o cuidado que o capítulo I.3 já explicou, ou aprender um embedding.
Codificação pelo alvo é vazamento esperando acontecer. Substituir a categoria pela média do alvo naquela categoria usa a resposta como entrada. Se a média for calculada com o dado inteiro, você vazou. Calcule só no treino, e por dobra.
2. Numérica: a escala importa?
Depende inteiramente do modelo, e essa é a resposta que quase ninguém dá.
| Modelo | Normalizar muda? | Por quê |
|---|---|---|
| Regressão com gradiente | muito | escalas díspares deformam a paisagem e a descida ziguezagueia (cap. II.4) |
| Regularização L1/L2 | muito | a penalidade compara coeficientes; sem escala comum, ela pune o atributo de unidade pequena |
| k-NN, k-means, SVM | muito | dependem de distância, e distância soma unidades diferentes |
| Árvores e ensembles | nada | cada corte olha um atributo por vez, e a ordem não muda com escala (cap. II.5) |
A consequência prática é útil: se o seu pipeline normaliza antes de um random forest, você não fez mal — fez trabalho à toa, e adicionou uma peça que pode quebrar.
representacao-l1Trezentos pontos, dois atributos, k-vizinhos com k = 5. A tabela é a mesma do começo ao fim: o que muda é a unidade da primeira coluna, multiplicada progressivamente até 100×. Metros para centímetros, reais para centavos, a coisa mais inofensiva que existe numa planilha.
Duas curvas: quantos dos 5 vizinhos de cada ponto ainda são os mesmos, e a fração de rótulos previstos que virou.
Antes de assistir, arrisque. Trocando a unidade de uma coluna, quantos dos 5 vizinhos você acha que sobrevivem?
Sobram 0,81. Menos de um de cinco. E 31% dos rótulos previstos viram — quase um terço das decisões do modelo muda porque alguém exportou a planilha em outra unidade. Nenhum número foi corrompido; nenhuma linha foi perdida.
Agora clique em "E se as colunas fossem padronizadas antes?". Os 5 vizinhos continuam os 5 vizinhos, e 0,0% dos rótulos viram.
Repare que a segunda linha não é uma melhora: é uma invariância. Não são "quase 5" nem "poucos rótulos"; são exatamente 5,00 e exatamente 0,0%. Padronizar não deixa o k-NN mais esperto. Deixa a resposta dele indiferente à unidade em que o dado chegou — e é isso que se quer, porque a unidade não é informação sobre o problema, é acidente de quem exportou.
E a ordem é o assunto. Padronizar não protege se a padronização rodar antes da troca de unidade: aí ela padroniza a régua velha e a nova passa por cima. Só protege quem padroniza depois que o dado chegou, dentro do pipeline, toda vez. É a mesma disciplina que o capítulo I.3 exige contra vazamento, aplicada a outro risco.
3. Domínio: que atributo não está lá?
É aqui que o conhecimento de negócio entra, e onde o ganho costuma ser maior. Razões em vez de valores absolutos (ticket médio em vez de total e contagem separados), diferenças temporais (dias desde a última compra), agregações por grupo (gasto do cliente sobre a média da região dele).
E medir se pagou. Atributo novo se justifica por experimento, não por plausibilidade: mesma divisão, mesmo protocolo, e a diferença comparada com o ruído (cap. II.8).
representacao-e1escolha umaVocê treina um random forest para prever inadimplência. Um colega revisa o código e sugere padronizar todos os atributos numéricos (média 0, desvio 1) antes do treino, "porque é boa prática". O que acontece com o desempenho?
representacao-e7escolha umaPara quais destes a normalização muda o resultado, segundo a tabela do capítulo?
representacao-e8escolha umaUma regressão com regularização L2 tem dois atributos: renda_mensal em reais (milhares) e anos_de_relacionamento (unidades). Ninguém normalizou. Qual é a consequência específica da regularização aqui?
representacao-e2responda com um númeroUma variável categórica regiao tem 5 valores possíveis. Você vai usá-la numa regressão linear com intercepto.
Quantas colunas dummy você deve criar para evitar a indeterminação?
representacao-e5escolha umaUma coluna codigo_produto tem 14 mil valores distintos. Um estagiário aplica one-hot. O que acontece?
representacao-e6escolha umaUma equipe codifica cidade pela média do alvo em cada cidade, calculada sobre a base inteira antes da divisão treino/teste. A validação fica excelente. Qual é o diagnóstico?
O artesanato mudou de lugar, não desapareceu
A promessa do aprendizado de representações, o contraponto moderno formulado por Bengio, Courville e Vincent em 2013, é aprender a representação em vez de fabricá-la à mão. Em texto e imagem, a promessa se cumpriu de forma espetacular: ninguém mais escreve detector de borda à mão (cap. III.4).
Mas em dado tabular, que é a maior parte do trabalho real de empresa, o artesanato continua, e continua decidindo o resultado.
E mesmo onde a promessa se cumpriu, ela mudou o artesanato de lugar em vez de eliminá-lo. Quem monta o corpus decide o que conta como contexto; quem define a janela de um embedding decide o que é "companhia"; quem escolhe o que entra na tabela decide o que existe. É exatamente o trabalho que Harris fazia à mão em 1954, com outra ferramenta.
representacao-e12escolha todas que valem"O aprendizado de representações eliminou a engenharia de atributos." Quais correções esta seção faz a essa afirmação? (marque todas que valem)
representacao-e3responda com suas palavrasUma rede de farmácias quer prever quais clientes vão abandonar o programa de fidelidade nos próximos 90 dias. A tabela disponível tem uma linha por cliente com: cpf, data_cadastro, cidade, total_gasto_historico, numero_de_compras.
Proponha três atributos novos construídos a partir dessas colunas ou de dados que você pediria, justifique cada um pela hipótese de negócio, e descreva como mediria se eles pagaram.
representacao-e9escolha umaUm atributo novo é proposto numa reunião e todos concordam que faz sentido. Segundo esta seção, o que autoriza mantê-lo no modelo?
representacao-e10escolha todas que valemUma tabela de clientes tem total_gasto_historico, numero_de_compras e data_cadastro. Quais afirmações desta seção se aplicam à construção de atributos aqui? (marque todas que valem)
Síntese — o que levar
- O modelo só vê o que você mostrou. A representação define o teto; nenhuma otimização recupera informação não codificada.
- Representar é registrar a companhia que a coisa mantém, não descrever a coisa. Muda a coleção, muda a representação.
- Categórica de baixa cardinalidade: one-hot, com k − 1 colunas se houver intercepto. De alta: agrupe, codifique pelo alvo com cuidado, ou aprenda um embedding.
- Codificação pelo alvo calculada fora do treino é vazamento.
- Normalizar importa para gradiente, regularização e distância; não importa para árvores.
- Atributo de domínio costuma pagar mais que troca de modelo — e se justifica por experimento, não por plausibilidade.
- A hipótese distribucional tem setenta anos; o embedding é a realização computacional dela.
- O deep learning mudou o artesanato de lugar, não o eliminou: alguém ainda decide o que conta como contexto.
representacao-e4responda com suas palavrasDesafio de fechamento. Um colega guarda a data e hora de cada pedido como um único inteiro (segundos desde 1970) e argumenta que "a informação está toda lá, o modelo que se vire". Explique por que essa representação é quase inútil para a maioria dos modelos, o que exatamente a decomposição em dia da semana e hora do dia acrescenta, e por que "a informação está toda lá" não é o mesmo que "o modelo consegue usá-la".
Verificação
- Você tem uma coluna com 8 000 códigos de produto distintos. Descreva duas estratégias de codificação e diga em que situação escolheria cada uma.
- A hipótese distribucional afirma que o sentido está na companhia. Dê um exemplo, fora de texto, em que representar um item pelo contexto funciona melhor que representá-lo pelos atributos próprios.
Estas duas não são corrigidas, e a omissão é deliberada: a segunda, em especial, vale pelo exemplo que você traz — e um exemplo novo é melhor do que um exemplo certo.