Prova final — o livro inteiro

Estado da arte capturado em 2026-08 · histórico

Isto não vale nota, e o livro diz isso por escrito. A identificação é autodeclarada, o livro fica aberto e o enunciado está publicado no Markdown do repositório. O que esta prova produz é evidência de prática, não de aprendizado. A recomendação do livro a quem dá aula é pontuar por ter feito, nunca por ter acertado.

O que esta prova é

Quatorze itens sobre o livro inteiro. As seis provas anteriores cruzam capítulos dentro de uma parte; esta cruza partes, e é essa a diferença que ela existe para cobrar. Cada item liga uma ideia da Abertura, da Parte I ou da Parte II a uma consequência que só aparece nas Partes III, IV ou V.

A aposta pedagógica é simples de enunciar: quem estudou por capítulo responde bem às provas de parte e trava aqui, porque o livro não é uma lista de assuntos. O que ele repete, de capítulo em capítulo, é um punhado pequeno de ideias usando roupas diferentes — e é isso que estes quatorze itens tentam mostrar.

Nenhum item traz o "volte para", todo cenário é inédito, e todos são corrigidos na hora, sem consultar modelo de linguagem.

Exercícioprova-final-q1escolha uma

Uma transportadora quer prever se uma entrega vai atrasar. A regra atual é escrita e cabe em três linhas: atrasa se a distância passa de 400 km, ou se o veículo tem mais de dez anos, ou se o pedido saiu depois das 16h. Ela acerta 91% das vezes. Um modelo treinado com dois anos de histórico acerta 93%.

O que o livro sustenta sobre esse caso?

Deve-se adotar o modelo, porque 93% é maior que 91% e a comparação foi feita.
Deve-se questionar a adoção: a regra é escrevível, os dois pontos percentuais precisam de incerteza declarada e de tradução em consequência, e o modelo traz um sistema inteiro para manter.
Deve-se adotar o modelo apenas se ele for interpretável, porque a regra atual é.
Não é caso de ML porque existe regra, e problemas com regra conhecida nunca se beneficiam de modelo.

Exercícioprova-final-q2escolha uma

Um time comparou seis configurações de modelo. Para cada uma, treinou, mediu no conjunto de teste, ajustou e mediu de novo, repetindo até a melhor chegar a 0,88 de F1. O relatório apresenta 0,88 como o desempenho esperado em produção.

Qual é o defeito, e qual é a consequência?

O teste foi usado como conjunto de ajuste; 0,88 é uma estimativa otimista, e o número que ninguém tem é o de um conjunto que não participou de nenhuma decisão.
Não há defeito no método; falta apenas declarar o intervalo de confiança de 0,88.
O defeito é usar F1, que não é apropriado para comparar configurações entre si.

Exercícioprova-final-q3escolha uma

Um modelo de previsão de demanda foi validado com divisão aleatória sobre três anos de histórico e foi muito bem. Em produção, erra sistematicamente. O time investiga e descobre duas coisas: a divisão aleatória misturou semanas futuras no treino, e a base de clientes mudou bastante no último ano.

Qual leitura é correta?

São dois problemas distintos: a divisão aleatória inflou a validação, e a mudança da base é drift; corrigir a divisão dá um número honesto, e não impede o drift.
É o mesmo problema visto de dois ângulos: divisão temporal correta já teria capturado o drift e resolvido os dois.
O problema é só a divisão; a mudança da base de clientes é normal e não afeta um modelo bem treinado.
O problema é só o drift; a divisão aleatória é aceitável quando há três anos de dados.

Exercícioprova-final-q4escolha uma

Um neurônio único não separa o XOR. Uma rede com uma camada escondida separa. Mas há um terceiro caminho, menos citado: acrescentar às duas entradas x1 e x2 um terceiro atributo, o produto x1 · x2, e treinar um neurônio único sobre os três.

O que esse terceiro caminho demonstra?

Que a limitação era da representação, e não do neurônio: no espaço de três atributos o problema virou linearmente separável, e a camada escondida é uma forma de aprender essa transformação em vez de escrevê-la.
Que o neurônio único é tão expressivo quanto a rede, e a camada escondida é desnecessária quando há atributos suficientes.
Que o XOR nunca foi um problema real, e a crise histórica da área se apoiou num exemplo mal escolhido.
Que atributos construídos à mão são sempre preferíveis a camadas escondidas, por serem interpretáveis.

Exercícioprova-final-q5escolha uma

Duas situações. Na primeira, um classificador de fraude acerta 99,7% num problema em que 0,3% das transações são fraude. Na segunda, um agrupamento de clientes devolve cinco grupos com boa separação medida pela silhueta.

O que as duas têm em comum?

Nas duas, a métrica pode ir bem sem que exista o achado: acurácia alta é o que se obtém dizendo sempre "não é fraude", e silhueta boa se obtém sobre dados sem estrutura nenhuma.
Nas duas o problema é o tamanho da amostra, que precisa ser maior para a métrica ser confiável.
Nada em comum: a primeira é supervisionada e tem gabarito, a segunda não tem, e os problemas de avaliação são de naturezas distintas.
Nas duas, trocar a métrica por outra resolve: F1 na primeira, e índice de Rand na segunda.

Exercícioprova-final-q6escolha todas que valem

Um modelo de concessão de crédito tem AUC de 0,82, igual nos dois grupos protegidos. O time conclui: "o modelo é igualmente bom para os dois grupos, então é justo."

Quais críticas a essa conclusão são corretas? Marque todas que valem.

AUC mede a qualidade do ordenamento e não a da decisão; a decisão depende do limiar, que pode produzir taxas muito diferentes com o mesmo AUC.
Justiça exige escolher entre critérios formais que são incompatíveis quando as prevalências diferem, e AUC igual não escolhe nenhum deles.
Calibração é uma terceira propriedade, independente do ordenamento, e dois grupos com o mesmo AUC podem ter calibrações diferentes.
A crítica correta é que AUC de 0,82 é baixo demais para decisão de crédito, e o problema desapareceria com um modelo melhor.
AUC não deveria ser medida por subgrupo, porque métricas de ordenamento não se decompõem.

Exercícioprova-final-q7responda com um número

Um detector de fraude foi aplicado a 10 000 transações. Ele acusou 500, das quais 120 eram fraude de verdade. Havia 150 fraudes no total.

Calcule a precisão do detector. Responda como número decimal entre 0 e 1, com duas casas.

Exercícioprova-final-q8escolha uma

Um time tem uma árvore profunda que acerta quase tudo no treino e vai mal na validação. Um colega sugere trocar por floresta aleatória; outro sugere boosting com árvores rasas.

Qual leitura, em termos de viés e variância, é correta?

A árvore profunda tem variância alta, e a floresta ataca exatamente isso ao promediar árvores decorreladas; o boosting ataca viés, partindo de árvores rasas que erram muito e somando correções.
As duas sugestões atacam a variância, e a escolha entre elas é só de custo computacional.
A árvore profunda tem viés alto, e por isso o boosting é a única sugestão pertinente.
Nenhuma das duas ajuda: o problema é de dado, e conjuntos de modelos não corrigem falta de dado.

Exercícioprova-final-q9escolha uma

O trabalho que mediu o problema do gradiente que some é de 1991. Ele diagnosticou e não resolveu. De lá para cá, o remédio mudou várias vezes: inicializações melhores, funções de ativação diferentes, normalização, conexões de atalho.

O que isso ensina sobre o que estudar?

Que o diagnóstico envelhece devagar e o remédio envelhece rápido: quem entendeu por que o gradiente some reconhece o sintoma em arquiteturas que ainda não existem, e quem decorou o remédio da vez fica sem nada quando ele for substituído.
Que trabalhos antigos são mais confiáveis, porque sobreviveram ao tempo.
Que o problema do gradiente foi resolvido e virou assunto histórico, sem consequência prática hoje.
Que estudar remédios é perda de tempo, já que todos serão substituídos.

Exercícioprova-final-q10escolha uma

Um sistema de recomendação escolhe, para cada usuário, entre milhares de itens. Ele é retreinado toda semana com os cliques da semana anterior. Depois de alguns meses, a variedade do que ele recomenda caiu muito, e as métricas de clique continuam boas.

Qual diagnóstico combina as duas partes?

O sistema determina os próprios dados de treino: só aprende sobre o que mostrou, e o retreino realimenta a escolha antiga; o clique não denuncia isso porque mede o que foi mostrado, e não o que teria acontecido.
É drift de conceito: os usuários mudaram de gosto, e o modelo ficou preso ao comportamento antigo.
Não há problema: métricas boas com menos variedade indicam que o sistema aprendeu as preferências reais e parou de desperdiçar exibições.
É um problema de exploração que se resolve aumentando o número de itens recomendados por vez.

Exercícioprova-final-q11escolha uma

Você agrupa clientes com k-means usando dois atributos: renda mensal, em reais, entre 1 000 e 40 000, e número de compras no ano, entre 1 e 30. Sem qualquer pré-processamento.

O que acontece, e por quê?

Os grupos saem praticamente definidos só pela renda, porque a distância euclidiana é dominada pelo atributo de maior escala.
Os grupos saem equilibrados entre os dois atributos, porque o k-means normaliza internamente antes de calcular distâncias.
O resultado é imprevisível, porque escalas diferentes tornam o algoritmo instável e ele não converge.
Os grupos saem definidos pelo número de compras, porque atributos com menos valores distintos dominam a partição.

Exercícioprova-final-q12escolha uma

Um atributo chamado saldo_medio_conta é calculado no treino a partir de uma tabela consolidada que já inclui a movimentação do mês inteiro. No serviço, ele é calculado com o que existe até o instante da consulta.

Que dois nomes, de dois capítulos diferentes, descrevem esse mesmo defeito?

Vazamento, no treino, e divergência entre treino e serviço, na produção — o segundo é o primeiro reaparecendo com outro nome.
Drift de covariáveis e dívida de configuração.
Desbalanceamento de classes e dívida de código de cola.
Viés de seleção e cascata de correções.

Exercícioprova-final-q13complete a lacuna

Complete a hipótese que a Abertura coloca na fundação do livro e que o capítulo de operação mostra sendo quebrada pelo tempo. Ela diz que treino e produção vêm da mesma:

hipótese de mesma ______

Exercícioprova-final-q14escolha todas que valem

Você vai apresentar a diretores um resultado real: o novo modelo de retenção reduziu o cancelamento de 4,2% para 3,8% num teste com metade da base, ao longo de seis semanas.

Quais condutas o livro sustenta para essa apresentação? Marque todas que valem.

Declarar a incerteza dos 0,4 ponto, porque um número sem intervalo não permite saber se a diferença sobreviveria a outra amostra.
Traduzir a diferença em consequência de negócio, dizendo quantos clientes e quanto dinheiro ela representa no período.
Dizer o que o teste não mediu, como o efeito além das seis semanas e a possibilidade de o ganho ser antecipação de cancelamentos futuros.
Omitir a incerteza para não abalar a confiança da diretoria na equipe, já que o resultado é positivo.
Apresentar a redução como 10% de queda relativa, sem mencionar a diferença absoluta, por ser mais compreensível.

Prova final — o livro inteiro #

O que esta prova é #

Prova final — o livro inteiro

O que esta prova é