Representação

Objetivos de aprendizagem #

• O1. Explicar por que a escolha de representação limita o que qualquer modelo pode aprender.
• O2. Aplicar codificação adequada a variáveis categóricas de alta e baixa cardinalidade.
• O3. Justificar quando normalizar e quando não faz diferença nenhuma.
• O4. Construir atributos a partir de conhecimento de domínio e medir se eles pagaram.

O problema: o modelo só vê o que você mostrou #

Um modelo não vê o mundo: vê os números que você escolheu mostrar a ele. Essa escolha — a representação — determina o teto de qualquer algoritmo que venha depois. Nenhuma quantidade de otimização recupera informação que não foi codificada.

O exemplo canônico é a data. Como inteiro (1721692800), ela é quase inútil: o modelo teria de descobrir sozinho que o mundo se repete a cada 604 800 segundos. Decomposta em dia da semana, hora do dia e proximidade de feriado, ela frequentemente carrega a maior parte do sinal. O dado é o mesmo. O que mudou foi o que o modelo consegue enxergar.

É por isso que este capítulo vem antes dos modelos, e não depois. Trocar de algoritmo é barato; descobrir que a informação nunca esteve na tabela é caro.

De onde isto veio #

O aperto. Anos 1950, Universidade da Pensilvânia. Zellig Harris queria uma linguística que partisse só do corpus — dos textos observáveis —, sem apelar para intuição de significado nem para dicionário. A influência declarada era a teoria da informação de Shannon. O aperto: significado parecia ser exatamente aquilo que não se pode medir.

O que se fazia antes. Significado descrito por definição, introspecção ou autoridade lexicográfica. Nada disso é observável, e nada disso é computável.

A virada. Em 1954, no artigo "Distributional Structure", Harris mostra como induzir o sentido de palavras como oculist, eye-doctor e lawyer a partir da sobreposição dos ambientes em que ocorrem: as duas primeiras aparecem quase nos mesmos contextos, a terceira só em parte deles. Diferença de sentido vira diferença de distribuição observável. É a hipótese distribucional, e é a fundação conceitual de tudo o que hoje se chama embedding.

A ideia reaproveitável — e ela vale muito além de texto. Representar não é descrever a coisa: é registrar a companhia que a coisa mantém. Não existe "o vetor do cliente"; existe o vetor do cliente em relação ao conjunto. É isso que faz one-hot, TF-IDF e embedding pertencerem a um capítulo só: todos trocam a essência do item pela posição dele numa coleção. Mude a coleção e a representação muda, sem que o item tenha mudado nada.

O nome. A frase que carrega a ideia é de J. R. Firth (1957): "You shall know a word by the company it keeps" — e ele a usa para um modo específico de significado, o "meaning by collocation", buscando as colocações habituais em que a palavra está mais caracteristicamente incrustada.

O terceiro caso, e o mais desconfortável #

Harris tinha o argumento. Dezessete páginas de definições formais e exemplos trabalhados, em 1954. Firth tinha a frase, três anos depois. E todo mundo cita Firth.

É a terceira vez que este livro tropeça no mesmo padrão. No capítulo 05, Gauss descobre os mínimos quadrados e Legendre leva a prioridade por ter publicado. No capítulo 18, Linnainmaa descreve a retropropagação e Rumelhart leva o crédito por ter popularizado. Aqui, o argumento inteiro é de um e a citação é do outro.

O que circula não é a contribuição: é a forma citável da contribuição. Isso não é cinismo, é instrução prática — se você quer que a sua ideia seja usada, ela precisa caber numa frase que alguém consiga repetir. A frase não substitui o argumento; ela é o veículo dele.

Cinquenta e nove anos entre a ideia e o procedimento #

A hipótese distribucional é de 1954. O word2vec — Mikolov, Chen, Corrado e Dean — é de janeiro de 2013, com a regularidade que ficou famosa: rei − homem + mulher ≈ rainha.

São cinquenta e nove anos, um dos maiores intervalos registrados neste livro — maior que os 43 de Yule → Box–Jenkins (capítulo 24) e que os 43 de Larson → Stone (capítulo 01). No meio do caminho, a linha vetorial foi sendo construída: 1972, Karen Spärck Jones mostra que especificidade é estatística, não semântica — pesa-se o termo pela raridade na coleção; 1973, Salton e Yang multiplicam a frequência do termo por aquela fórmula e batizam o resultado de idf; 1975, o modelo de espaço vetorial é formalizado no sistema SMART, em Cornell.

Repare no detalhe do TF-IDF: ela inventou, eles nomearam. O padrão de novo.

Procedência das afirmações desta seção:

Fundamentos: as três decisões #

Toda representação responde a três perguntas, e errar qualquer uma custa mais que trocar de modelo.

1. Categórica: quantos valores diferentes existem? #

Para baixa cardinalidade (cor, estado civil, região — dezenas de valores), o one-hot é o padrão: uma coluna por valor, com 1 na coluna correspondente e 0 nas demais.

O nome vem do circuito digital, onde a única combinação válida é ter exatamente um bit alto. Em estatística a mesma técnica é a variável dummy, e ela é bem mais velha: Daniel Suits a expôs em 1957 — dizendo, aliás, que já não era nova.

A armadilha das dummies tem 69 anos e continua sendo a primeira em que o aluno pisa. Se você criar uma coluna para cada valor e mantiver o intercepto, as colunas somam exatamente 1 em toda linha — informação perfeitamente redundante. Numa regressão isso torna a solução indeterminada. A regra é: omita uma categoria, ou tire o intercepto. Nunca os dois, nunca nenhum.

Para alta cardinalidade (CEP, código de produto, ID de usuário — milhares de valores), one-hot explode: você ganha dez mil colunas quase vazias e um modelo que decora. As saídas são agrupar por frequência (tudo que aparece pouco vira "outros"), codificar pelo alvo — com um cuidado que o capítulo 02 já explicou —, ou aprender um embedding.

Codificação pelo alvo é vazamento esperando acontecer. Substituir a categoria pela média do alvo naquela categoria usa a resposta como entrada. Se a média for calculada com o dado inteiro, você vazou. Calcule só no treino, e por dobra.

2. Numérica: a escala importa? #

Depende inteiramente do modelo, e essa é a resposta que quase ninguém dá.

A consequência prática é útil: se o seu pipeline normaliza antes de um random forest, você não fez mal — fez trabalho à toa, e adicionou uma peça que pode quebrar.

3. Domínio: que atributo não está lá? #

É aqui que o conhecimento de negócio entra, e onde o ganho costuma ser maior. Razões em vez de valores absolutos (ticket médio em vez de total e contagem separados), diferenças temporais (dias desde a última compra), agregações por grupo (gasto do cliente sobre a média da região dele).

E medir se pagou. Atributo novo se justifica por experimento, não por plausibilidade: mesma divisão, mesmo protocolo, e a diferença comparada com o ruído (cap. 25).

O artesanato mudou de lugar, não desapareceu #

A promessa do aprendizado de representações — o contraponto moderno, formulado por Bengio, Courville e Vincent em 2013 — é aprender a representação em vez de fabricá-la à mão. Em texto e imagem, a promessa se cumpriu de forma espetacular: ninguém mais escreve detector de borda à mão (cap. 10).

Mas em dado tabular — a maior parte do trabalho real de empresa — o artesanato continua, e continua decidindo o resultado.

E mesmo onde a promessa se cumpriu, ela mudou o artesanato de lugar em vez de eliminá-lo. Quem monta o corpus decide o que conta como contexto; quem define a janela de um embedding decide o que é "companhia"; quem escolhe o que entra na tabela decide o que existe. É exatamente o trabalho que Harris fazia à mão em 1954, com outra ferramenta.

Síntese — o que levar #

• O modelo só vê o que você mostrou. A representação define o teto; nenhuma otimização recupera informação não codificada.
• Representar é registrar a companhia que a coisa mantém, não descrever a coisa. Muda a coleção, muda a representação.
• Categórica de baixa cardinalidade: one-hot, com k − 1 colunas se houver intercepto. De alta: agrupe, codifique pelo alvo com cuidado, ou aprenda um embedding.
• Codificação pelo alvo calculada fora do treino é vazamento.
• Normalizar importa para gradiente, regularização e distância; não importa para árvores.
• Atributo de domínio costuma pagar mais que troca de modelo — e se justifica por experimento, não por plausibilidade.
• A hipótese distribucional tem setenta anos; o embedding é a realização computacional dela.
• O deep learning mudou o artesanato de lugar, não o eliminou: alguém ainda decide o que conta como contexto.

Verificação #

1. Por que uma data como inteiro é quase inútil para a maioria dos modelos, e o que exatamente a decomposição em dia da semana e hora do dia acrescenta?
2. Você tem uma coluna com 8 000 códigos de produto distintos. Descreva duas estratégias de codificação e diga em que situação escolheria cada uma.
3. A hipótese distribucional afirma que o sentido está na companhia. Dê um exemplo, fora de texto, em que representar um item pelo contexto funciona melhor que representá-lo pelos atributos próprios.