Do Modelo à Decisão

Objetivos de aprendizagem #

• O1. Comparar duas ou mais técnicas com protocolo justo e incerteza declarada.
• O2. Traduzir métrica estatística em consequência de negócio.
• O3. Apresentar resultados a um público não técnico sem perder o rigor.
• O4. Decidir, com critério explícito, se um modelo deve ou não ir a produção.

O problema: o modelo está pronto, e daí? #

Um analista termina o projeto com 0,91 de AUC. Apresenta. A diretora pergunta: "Então a gente aprova ou não aprova o crédito desse cliente aqui?"

Ele não sabe responder. E não é por incompetência técnica — é porque falta uma informação que nunca esteve nos dados: quanto custa cada tipo de erro.

O modelo entrega uma ordenação: este cliente é mais arriscado que aquele. Transformar ordenação em ação exige um corte, e o corte exige um preço. Enquanto ninguém disser quanto vale perder um bom cliente e quanto custa aprovar um mau, não existe resposta certa — existe apenas uma escolha, e alguém vai fazê-la de qualquer maneira.

O erro que este capítulo previne é esse: o cientista de dados escolher o limiar sozinho, calado, achando que é uma decisão técnica. Não é. É uma decisão de negócio disfarçada de detalhe de implementação.

De onde isto veio #

O aperto. Guerra, 1940–43, duas frentes independentes com o mesmo problema: o que fazer com um número.

Na Inglaterra, Patrick Blackett monta em agosto de 1940, no Anti-Aircraft Command, um grupo de sete cientistas — físicos, um astrônomo, um fisiologista, um matemático — apelidado "Blackett's Circus". Em março de 1941 repete a receita no Coastal Command, contra os submarinos alemães. Nos Estados Unidos, o Statistical Research Group reúne em Columbia, no verão de 1942, gente como Wald, Savage, Friedman e Hotelling para decidir blindagem de bombardeiro, mistura de munição e regras de inspeção por amostragem.

O que se fazia antes. Decisão de comando por experiência e hierarquia. E, do lado da estatística, dois problemas tratados separadamente e sem preço: estimar um parâmetro e testar uma hipótese.

A virada. Abraham Wald mostra, em 1939, que estimar e testar são casos particulares de um mesmo problema: decidir. E para isso ele precisa de algo que a estatística clássica não tinha — uma função que diz quanto custa errar. Erro deixa de ser categoria lógica (certo/errado) e vira grandeza econômica.

A ideia reaproveitável. Pode ser ótimo agir como se uma classe fosse verdadeira mesmo quando a outra é mais provável. Charles Elkan dá o exemplo perfeito: pode ser racional não aprovar uma transação alta de cartão mesmo que ela seja provavelmente legítima — porque o prejuízo da fraude rara supera o incômodo do bloqueio frequente. Probabilidade ordena; custo decide. Um modelo que devolve só probabilidade não terminou o trabalho.

O nome. Operational research no Reino Unido, operations research nos Estados Unidos — a diferença de nome guarda a diferença de origem. Já "análise de decisão" é cunhada só em 1966, por Ronald Howard, e o detalhe é saboroso: o nome do campo nasce dentro de uma conferência de Pesquisa Operacional.

O capítulo 04 e este são a mesma história, cortada em dois #

Blackett entrou em 1934 no comitê Tizard, cuja marca foi justamente supervisionar o desenvolvimento do radar antes da guerra. Só depois, em 1940, montou o Circus.

A mesma pessoa, no mesmo comitê, diante do mesmo problema. Chegou o sinal — o que se faz com ele? O capítulo 04 conta o lado do botão de ganho: onde pôr o limiar, e como a curva ROC mapeia essa troca. Este conta o lado do comando: quanto custa cada erro, e quem tem autoridade para dizer isso.

O limiar do capítulo 04 é a matriz de custo deste capítulo vista de perfil.

A matriz de custo, e o erro que atravessou décadas #

Aqui está o achado mais útil — e mais desconfortável — desta seção.

O German credit dataset, conjunto didático clássico distribuído com uma matriz de custo oficial, tem uma matriz economicamente incoerente. Elkan demonstra o problema: ela mede cada célula a partir de uma linha de base diferente. Como negar o empréstimo produz exatamente o mesmo fluxo de caixa quer o cliente fosse bom ou mau, as duas células da linha "negar" têm de ser iguais — e não são.

A recomendação dele é prática e vale para o seu trabalho: contabilize em benefício, não em custo. Benefício tem uma linha de base natural — o estado do agente antes de decidir. Custo não tem, e por isso convida ao erro de comparar cada célula com uma referência diferente.

Um conjunto de dados usado em aula há décadas circula com uma matriz de custo errada. Não porque alguém foi descuidado: porque matriz de custo é mais difícil do que parece, e quase ninguém confere.

Procedência das afirmações desta seção:

Fundamentos: comparar duas técnicas sem se enganar #

Comparação justa tem três exigências, e violar qualquer uma invalida o resultado.

1. O mesmo dado, na mesma divisão. Se o modelo A foi avaliado numa divisão e o B em outra, você comparou as divisões, não os modelos. Fixe a seed e reutilize exatamente os mesmos conjuntos.

2. O mesmo orçamento de busca. Comparar um modelo com hiperparâmetros ajustados por cem tentativas contra outro com valores de fábrica não é comparação, é encenação. Ou os dois recebem busca, ou nenhum recebe.

3. A mesma métrica, escolhida antes. Escolher a métrica depois de ver os resultados é a forma mais comum e mais inocente de trapaça — você acaba selecionando a régua que favorece o modelo que já preferia.

A diferença é maior que o ruído? #

Modelo A dá 0,913 e modelo B dá 0,907. A é melhor?

Provavelmente você não sabe. Métrica calculada num conjunto de teste é uma estimativa, e estimativa tem incerteza — como o capítulo 04 mostrou. Com 500 exemplos de teste, uma diferença de 0,006 costuma estar dentro do ruído.

O procedimento honesto é o bootstrap pareado: reamostre o conjunto de teste com reposição, recalcule a métrica dos dois modelos na mesma reamostragem, e guarde a diferença. Repita mil vezes. Se o intervalo das diferenças cruza o zero, os modelos empataram — e dizer isso é um resultado, não um fracasso.

O detalhe que faz o método funcionar é o pareado: avaliar os dois na mesma reamostragem cancela a variação que vem do conjunto e isola a que vem do modelo.

Da métrica ao dinheiro #

Aqui o capítulo cumpre o seu nome. Toda decisão binária tem quatro resultados possíveis, e cada um vale um número:

Preenchida a tabela, o limiar ótimo deixa de ser opinião: é o corte que maximiza o benefício esperado. E, seguindo Elkan, preencha-a em benefício, com a linha de base sendo o que aconteceria se você não fizesse nada.

Três avisos que economizam retrabalho:

Os números não são seus. Quem sabe quanto custa um falso negativo é a área de risco, a área médica, o jurídico. O seu papel é exigir os números e registrar quem os forneceu — porque quando o limiar for questionado, a pergunta vai ser "quem decidiu isso?".

Custos mudam; o modelo não precisa mudar junto. Se a matriz muda de trimestre, você recalcula o limiar sobre as mesmas probabilidades. É a maior vantagem prática de separar o modelo (que ordena) da decisão (que corta).

Probabilidade mal calibrada estraga tudo. O cálculo do limiar ótimo pressupõe que 0,7 signifique 70%. Ensembles costumam não cumprir isso — ver capítulo 04. Calibre antes de contabilizar.

Apresentar sem trair o rigor #

O relatório mínimo tem seis partes, nesta ordem: problema (a decisão que se quer apoiar), dados (origem, período, tamanho, o que foi excluído e por quê), protocolo (divisão, busca, métrica escolhida antes), resultado (com incerteza), limitações (onde o modelo não vale) e recomendação.

A parte que quase todo mundo corta é a de limitações — e é a que constrói confiança. Um relatório que declara onde o modelo falha é levado mais a sério que um que só apresenta vitórias, porque o leitor entende que alguém procurou.

Três regras para a conversa com quem não é técnico:

• Fale em consequência, não em métrica. Não "AUC de 0,91", e sim "entre os 10% que o modelo mais suspeita, encontramos 6 de cada 10 fraudes do período".
• Nunca prometa o número do teste como se fosse o de produção. O dado de produção difere; diga isso antes que a realidade diga.
• Traga o cenário do erro. Quem decide precisa saber como é um dia ruim, não só o dia médio.

O relatório errado, em um exemplo. Em ml-zero/dados/limonada/, um modelo com R² de 0,982 sustenta a recomendação "aumente o preço" — porque o preço só subiu no verão, e o coeficiente positivo sobrevive até à regressão múltipla. Das seis partes do relatório acima, a única que pegaria isso é limitações: é lá que se escreve "o preço nunca variou fora da alta temporada, logo este modelo não estima efeito de preço". A parte que quase todo mundo corta é a que impediria a recomendação errada. O caso está no capítulo 05.

A decisão de não lançar #

É uma decisão legítima e frequentemente a certa. Motivos suficientes para recusar um modelo que passa nas métricas:

o ganho não paga o custo de manter; o desempenho é bom no geral e ruim num subgrupo que importa (ver capítulo 14); ninguém consegue explicar uma decisão individual quando for contestada; ou não há como monitorar o modelo depois de implantado (ver capítulo 16).

Defender essa recusa exige exatamente o mesmo aparato de defender o lançamento: números, protocolo e critério explícito. "Não vamos lançar" com evidência é trabalho concluído, não trabalho perdido.

Síntese — o que levar #

• O modelo entrega ordenação; a decisão exige um corte, e o corte exige um preço. Sem a matriz de custo, não existe limiar certo.
• Probabilidade ordena, custo decide. Pode ser ótimo agir como se a classe menos provável fosse verdadeira.
• O limiar não é uma decisão técnica. Quem escolhe calado está decidindo pela área de negócio sem avisar.
• Comparação justa: mesma divisão, mesmo orçamento de busca, métrica escolhida antes.
• Diferença sem intervalo é ruído com aparência de resultado. Bootstrap pareado, e empate é um achado.
• Empate em desempenho liberta a decisão para custo, latência e explicabilidade.
• Contabilize em benefício, não em custo: benefício tem linha de base natural.
• Não lançar é uma decisão legítima, e exige a mesma evidência de lançar.

Verificação #

1. Um colega diz que o limiar padrão é 0,5 porque "é o meio". Em que situação isso é defensável, e por que quase nunca é o caso?
2. Dois modelos empatam dentro do intervalo de confiança. Liste três critérios que você usaria para decidir, e diga qual pesaria mais no seu contexto.
3. A área de negócio se recusa a estimar o custo de um falso negativo, dizendo que "é impossível colocar preço nisso". O que você faz — e por que aceitar o silêncio é a pior opção?