Prova da Parte V — No mundo real

Estado da arte capturado em 2026-08 · histórico

Isto não vale nota, e o livro diz isso por escrito. A identificação é autodeclarada, o livro fica aberto e o enunciado está publicado no Markdown do repositório. O que esta prova produz é evidência de prática, não de aprendizado. A recomendação do livro a quem dá aula é pontuar por ter feito, nunca por ter acertado.

O que esta prova é

Dez itens sobre os quatro capítulos da Parte V, de V.1 a V.4. Cada item cruza dois capítulos ou mais, e vários cruzam para fora da parte, porque é isto que a Parte V faz: ela pega o que o resto do livro ensinou em condição de laboratório e pergunta o que acontece quando aquilo vai para o mundo, com gente afetada, com encanamento em volta e com o relógio correndo.

Nenhum item traz o "volte para", todo cenário é inédito, e todos são corrigidos na hora, sem consultar modelo de linguagem.

Exercícioprova-parte-v-q1escolha uma

Uma seguradora quer trocar o modelo de precificação, hoje uma regressão logística com doze variáveis, por um ensemble de árvores mais preciso. A área jurídica exige que a empresa continue conseguindo explicar cada preço a quem reclamar.

Um engenheiro propõe: "trocamos o modelo e acoplamos uma camada de explicação por cima; do ponto de vista do sistema, é só mais um componente."

Qual avaliação da proposta é correta?

Está certa: explicação post-hoc é equivalente a modelo interpretável, e o sistema ganha precisão sem perder nada.
Está errada em duas frentes: a explicação passa a ser uma aproximação da decisão, e não a decisão; e o componente novo é mais encanamento para manter, sujeito ao mesmo princípio de que mudar qualquer coisa muda tudo.
Está errada só na parte jurídica: tecnicamente o sistema fica idêntico, e o problema é de conformidade.
Está certa desde que a camada de explicação seja treinada com o mesmo dado do modelo.

Exercícioprova-parte-v-q2escolha uma

Um sistema de triagem de candidatos foi lançado com paridade de taxas de aprovação entre dois grupos, medida e documentada. Oito meses depois, o painel mostra que a distribuição das entradas mudou muito num dos grupos: chegam candidatos com outro perfil de formação. A taxa de aprovação daquele grupo caiu.

Qual leitura combina corretamente os dois capítulos?

Houve drift de covariáveis, e a paridade que havia sido calibrada sobre a distribuição antiga não é uma propriedade que se conserva sozinha quando a entrada muda.
Houve drift de conceito, porque a relação entre candidato e aprovação claramente mudou para aquele grupo.
Não houve drift, porque o modelo é o mesmo e nada nele foi alterado.
Houve violação de justiça independentemente de drift, porque taxas diferentes são, por definição, discriminação.

Exercícioprova-parte-v-q3escolha todas que valem

Um modelo de previsão de cancelamento é servido por uma API. Um dos atributos, meses_de_contrato, é calculado no treino a partir da tabela de contratos e, no serviço, a partir de uma data que o aplicativo envia. Nos últimos meses, uma versão antiga do aplicativo passou a enviar a data em outro formato, e o serviço converte silenciosamente o que não entende para zero.

Quais afirmações são corretas? Marque todas que valem.

O defeito é de contrato de fronteira, e um contrato que declarasse tipo e faixa transformaria a degradação lenta em falha ruidosa.
Há divergência entre treino e serviço, e reutilizar o mesmo código de cálculo nos dois lados a tornaria impossível em vez de improvável.
A conversão silenciosa é a política mais perigosa das três, porque nada registra que ela aconteceu.
O problema se resolve retreinando o modelo com dados recentes, que já incluem os zeros.
O problema é de qualidade do aplicativo, e não do serviço de modelo, que apenas recebeu o que lhe mandaram.

Exercícioprova-parte-v-q4escolha uma

Uma operadora de saúde prevê risco de reinternação para acionar uma equipe de acompanhamento. A decisão é tomada uma vez por dia, de manhã, para a lista de pacientes com alta na véspera. Um dos atributos exige agregar dois anos de histórico do prontuário, e calculá-lo leva perto de um minuto por paciente.

O time de plataforma quer migrar tudo para serviço em linha, "para modernizar". Qual é a avaliação correta, e o que ela implica para o plano de rollback?

O requisito não pede tempo real, e o atributo caro reforça a escolha por lote; num sistema em lote, uma promoção ruim é notada no ciclo seguinte e desfeita com um recálculo, o que muda o desenho do rollback, mas não dispensa escrevê-lo.
Migrar é correto, porque serviço em linha é sempre preferível quando existe infraestrutura, e o rollback fica mais simples com versões endereçáveis.
Manter em lote e, por isso, dispensar o plano de rollback: em lote não há usuário afetado em tempo real.
A decisão depende apenas do custo de infraestrutura das duas opções, que é o único eixo objetivo da escolha.

Exercícioprova-parte-v-q5escolha uma

Num relatório interno, um time escreve: "o modelo de recomendação aumentou a receita em 12%". Ao conferir, você descobre que o número compara o mês de dezembro com o de novembro, que o modelo entrou no ar em 3 de dezembro, e que a empresa fez uma campanha de fim de ano no mesmo período.

Qual é a crítica mais precisa?

O número está errado, porque 12% é grande demais para um sistema de recomendação.
O número existe e não sustenta a alegação: a comparação não isola o efeito do modelo do efeito da campanha e da sazonalidade.
O problema é o tamanho da amostra, que abrange apenas um mês de operação.
A alegação é aceitável internamente, e só precisaria de rigor se fosse publicada fora da empresa.

Exercícioprova-parte-v-q6escolha uma

Um órgão regulador pede que a empresa demonstre, para uma decisão automatizada tomada em março, qual foi o desempenho do modelo por subgrupo naquele momento. Estamos em novembro. A empresa tem o modelo de março guardado, o código no repositório e o dado de treino identificado por hash.

O que ainda pode impedir a resposta?

A definição dos subgrupos e o limiar vigentes em março, que são configuração e podem ter mudado sem deixar registro datado.
Nada: com modelo, código e dado, o desempenho por subgrupo é recalculável e a resposta está garantida.
A ausência do conjunto de teste de março, que precisaria ter sido copiado por inteiro.
A impossibilidade de recuperar as predições exatas, já que modelos são não determinísticos por natureza.

Exercícioprova-parte-v-q7responda com um número

Um modelo de aprovação de cadastro é monitorado por subgrupo. No grupo A, 4000 solicitantes, 1800 aprovados. No grupo B, 2000 solicitantes, 600 aprovados.

Calcule a diferença entre as taxas de aprovação dos dois grupos, em módulo. Responda como número decimal entre 0 e 1, com duas casas.

Exercícioprova-parte-v-q8escolha todas que valem

Uma empresa tem, hoje: um script sem dono que junta quatro fontes toda madrugada; um segundo modelo que aprende a corrigir a saída do primeiro; um arquivo de parâmetros de 400 linhas na máquina de um analista; e a descoberta recente de que o time de cobrança consome a tabela de saída.

O time pergunta por onde começar. Quais justificativas para a ordem de pagamento são defensáveis pelo que a Parte V ensina? Marque todas que valem.

Começar pelo arquivo de parâmetros, porque pô-lo sob revisão e no repositório é barato e elimina um ponto único de falha que também impede reproduzir qualquer resultado.
Tratar cedo os consumidores não declarados, porque enquanto eles existirem qualquer melhoria sua vira incidente de outra pessoa.
Começar pela cascata de correções, porque ela é a dívida mais cara e o mais caro deve vir primeiro.
Declarar contratos nas quatro fontes antes de mexer na cascata, porque sem eles não há como saber se uma mudança piorou algo.
Reescrever o script da madrugada como primeiro passo, porque a selva de pipelines é a raiz de tudo.

Exercícioprova-parte-v-q9escolha uma

Um capítulo técnico afirma duas coisas. A primeira: "a hipótese de que treino e produção vêm da mesma distribuição não é verificável antes do deploy." A segunda: "a biblioteca X é hoje a escolha padrão para servir modelos com baixa latência."

Qual classificação, quanto à validade no tempo, está correta?

A primeira envelhece devagar, porque é uma restrição estrutural do problema; a segunda envelhece rápido, porque é escolha de ferramenta.
As duas envelhecem rápido, porque toda afirmação técnica tem prazo.
A primeira envelhece rápido, porque métodos de detecção de drift estão evoluindo e podem torná-la falsa.
A segunda envelhece devagar, porque a necessidade de baixa latência é permanente.

Exercícioprova-parte-v-q10escolha uma

Você lidera um projeto que vai decidir quem recebe uma tarifa social. Duas definições de justiça razoáveis para o caso são incompatíveis entre si, dadas as prevalências dos grupos, e não há critério consensual na literatura para escolher entre elas.

Qual é a conduta que este livro sustenta?

Escolher uma, escrever a justificativa e a quem ela desfavorece, e montar o monitoramento que mostraria que a escolha foi ruim.
Adiar a decisão até que a literatura produza um critério consensual, já que decidir sem base é arbitrário.
Escolher a definição que produzir os números mais equilibrados no relatório de lançamento.
Delegar a escolha ao jurídico, porque a questão é normativa e não técnica.

Prova da Parte V — No mundo real #

O que esta prova é #

Prova da Parte V — No mundo real

O que esta prova é