Prova da Parte II — Análise Preditiva

Estado da arte capturado em 2026-08 · histórico

Isto não vale nota, e o livro diz isso por escrito. A identificação é autodeclarada, o livro fica aberto e o enunciado está publicado no Markdown do repositório. O que esta prova produz é evidência de prática, não de aprendizado. A recomendação do livro a quem dá aula é pontuar por ter feito, nunca por ter acertado: pontuar esforço remove o incentivo de colar, pontuar acerto o cria.

O que esta prova é

Doze itens sobre os oito capítulos da Parte II, de II.1 a II.8. Cada item cruza dois capítulos ou mais, e é essa a diferença entre uma prova e mais uma lista.

Nenhum item traz o "volte para": a prova mede o que você recupera sem rota de volta. Todo cenário é inédito, para que reconhecer o exemplo não substitua entender o conceito. E todos os itens são corrigidos na hora, sem consultar modelo de linguagem.

Exercícioprova-parte-ii-q1escolha uma

Uma transportadora usa um modelo para decidir quais cargas passam por inspeção extra. Inspecionar custa R$ 80. Uma carga irregular que passa sem inspeção custa R$ 3 200 em multa. Não inspecionar carga regular não custa nada.

Qual é a leitura correta da relação entre métrica e limiar aqui?

A métrica que orienta o limiar é a acurácia, porque ela considera as quatro células.
O custo assimétrico desloca o limiar bem abaixo de 0,5, e quem escolhe o modelo é a métrica de ordenação, enquanto quem opera o modelo é a matriz de custo.
Como inspecionar é barato, o limiar deve ser 0,5 para equilibrar os dois erros.
O limiar ótimo depende apenas da proporção de cargas irregulares na base.

Exercícioprova-parte-ii-q2escolha uma

Um modelo linear tem dois atributos quase perfeitamente correlacionados. Sem regularização, os coeficientes trocam de sinal entre reamostragens. Com L1, um dos dois é zerado, e qual deles muda de execução para execução. Com L2, ambos ficam pequenos e estáveis.

Qual leitura é correta?

A L1 é sempre preferível, porque um modelo com menos atributos é mais confiável.
Nenhuma das três situações é defeito de implementação: a colinearidade torna muitas combinações de pesos quase equivalentes, e cada tratamento escolhe uma forma diferente de resolver o empate.
A instabilidade indica erro nos dados, e o correto é remover as linhas discrepantes.
A L2 elimina a colinearidade, e por isso os coeficientes passam a ser interpretáveis individualmente.

Exercícioprova-parte-ii-q3escolha todas que valem

Uma equipe treina um gradient boosting e uma floresta aleatória no mesmo problema. Quais decisões estão corretas? (marque todas que valem)

Usar early stopping na validação para escolher o número de árvores do boosting.
Fixar um número grande de árvores na floresta sem medo de piorar o resultado.
Usar early stopping também para escolher o número de árvores da floresta.
Deixar as árvores do boosting rasas e as da floresta profundas.

Exercícioprova-parte-ii-q4responda com um número

Um modelo de regressão logística prevê probabilidade 0,25 para um cliente. Qual é a chance (odds) correspondente? Responda com duas casas decimais.

Exercícioprova-parte-ii-q5escolha uma

Uma equipe monta o conjunto de treino a partir do cubo de vendas, com uma linha por cliente e mês, e atributos de janela vindos das medidas agregadas. Depois divide o conjunto cronologicamente, com cuidado, e valida com origem móvel.

Ainda assim o desempenho em produção é muito pior que na validação. Qual é a explicação mais provável?

A validação com origem móvel é otimista por construção e precisa ser substituída por um corte único.
Os atributos de janela foram agregados sobre a base inteira antes da divisão, então cada linha de treino já contém informação posterior ao seu instante.
O grão de cliente e mês é fino demais, e agregar por trimestre resolveria.
O cubo não deveria ser usado como origem de conjunto de treino.

Exercícioprova-parte-ii-q6escolha uma

Dois modelos são comparados no mesmo teste. A diferença de F1 é de 0,004, e o bootstrap pareado devolve um intervalo de 95% de [−0,009; +0,017] para a diferença. Um deles custa três vezes mais para servir. O que fazer?

Escolher o de maior F1, porque a estimativa pontual é o melhor palpite disponível.
Tratar como empate estatístico e decidir pelo custo, que é um critério real e não empatado.
Rodar dez mil reamostragens, para estreitar o intervalo e desempatar.
Adiar a decisão até coletar mais dados de treino.

Exercícioprova-parte-ii-q7escolha todas que valem

Um hospital precisa de um modelo com 1 200 registros, 60 atributos tabulares, justificativa por escrito em cada recusa de exame, e resposta em menos de 20 ms. Quais afirmações estão corretas? (marque todas que valem)

Poucos dados por atributo favorecem menos parâmetros, o que aponta para o linear.
A exigência de justificativa por decisão individual pesa contra ensembles.
Um boosting bem ajustado provavelmente teria desempenho preditivo melhor neste tipo de dado.
Como o boosting tende a prever melhor, ele é a escolha correta aqui.

Exercícioprova-parte-ii-q8escolha uma

Um painel executivo mostra "taxa de conversão média das lojas: 4,2%", calculada como a média simples das taxas de cada loja. Uma loja nova, com 12 visitas e 3 conversões, entra na conta com 25%.

Qual é o problema?

Taxa é medida não aditiva: a razão precisa ser calculada depois da agregação, a partir dos componentes, e não como média de razões.
O problema é a loja nova ser um outlier, e removê-la corrige o número.
O problema é a métrica escolhida, e a mediana das taxas seria correta.
Não há problema: média de taxas é a definição usual de taxa média.

Exercícioprova-parte-ii-q9escolha uma

Uma equipe troca a perda de uma classificação de entropia cruzada para erro quadrático sobre a saída da sigmoide. O treino roda sem erro, a perda desce, e o resultado final varia de execução para execução com a mesma configuração.

Qual é a explicação?

O erro quadrático não é diferenciável na saída da sigmoide, e o gradiente fica indefinido.
A superfície deixou de ser convexa: surgem mínimos locais, e onde o otimizador para passa a depender da inicialização.
A taxa de aprendizado ficou alta demais depois da troca de perda.
O problema é o número de épocas, e treinar mais faria as execuções convergirem.

Exercícioprova-parte-ii-q10responda com um número

Uma série mensal tem sazonalidade anual forte. Um relatório compara o modelo novo contra a previsão ingênua simples e celebra 40% de redução de erro.

Quantas linhas de base diferentes deveriam ter sido reportadas, no mínimo, para a comparação ser honesta?

Exercícioprova-parte-ii-q11escolha uma

Um relatório traz: problema, dados, protocolo, resultado com intervalo de confiança e recomendação de aumentar o preço com base num coeficiente positivo. O protocolo está impecável e o R² é 0,982.

Qual parte do relatório mínimo está faltando, e o que ela teria impedido?

O resultado com incerteza, que teria mostrado que o coeficiente não é significativo.
As limitações, que teriam registrado que o preço nunca variou fora da alta temporada, e portanto o modelo não estima efeito de preço.
O protocolo, que deveria ter usado validação cruzada.
Nenhuma: com R² de 0,982 e protocolo correto, a recomendação se sustenta.

Exercícioprova-parte-ii-q12escolha todas que valem

Um modelo de priorização de atendimento tem AUC de 0,88 ± 0,01 entre as dobras, bate a linha de base com folga e o ganho financeiro estimado paga o custo. Ao segmentar, o desempenho cai para 0,61 no grupo de pacientes que chegam pelo pronto-socorro, que é 18% do volume.

Quais conclusões se sustentam? (marque todas que valem)

A média de 0,88 esconde um subgrupo relevante com desempenho próximo do acaso.
Desempenho ruim num subgrupo que importa é motivo suficiente para não lançar, mesmo passando nas métricas.
Recusar o lançamento exige o mesmo aparato de defendê-lo: números, protocolo e critério explícito.
Como o intervalo entre dobras é estreito, o resultado é estável e o subgrupo é ruído amostral.

Prova da Parte II — Análise Preditiva #

O que esta prova é #

Prova da Parte II — Análise Preditiva

O que esta prova é