O Ciclo da Ciência de Dados

Objetivos de aprendizagem #

• O1. Descrever as seis fases do CRISP-DM e o que cada uma entrega.
• O2. Justificar por que entendimento de negócio vem antes de qualquer dado.
• O3. Reconhecer que o ciclo é iterativo, e não uma cascata.
• O4. Distinguir os papéis de cientista de dados, engenheiro de dados e engenheiro de ML.

O problema: um modelo excelente para a pergunta errada #

Um varejista pede um modelo de churn — de abandono: prever quem vai deixar de comprar. A equipe recebe acesso ao banco, encontra a tabela de compras, define o rótulo pelo que os dados permitem ("cliente que não compra há 90 dias"), treina, mede e entrega AUC de 0,93. O relatório é bonito. O modelo nunca foi usado.

O motivo apareceu na primeira reunião com a área de retenção: eles só conseguem agir sobre um cliente na renovação do plano, e a renovação acontece antes dos 90 dias de silêncio. Quando o modelo acusa risco, o cliente já foi embora. A lista chega tarde para todo mundo que poderia fazer algo com ela.

Nenhuma métrica do capítulo II.1 capturaria isso. O modelo é bom; o alvo é que responde a uma pergunta que ninguém tinha. E repare no mecanismo do erro: a equipe começou pelos dados disponíveis, e o rótulo saiu do que era fácil de calcular, não do que era possível decidir.

O CRISP-DM (CRoss-Industry Standard Process for Data Mining) existe para tornar esse erro difícil de cometer. Ele coloca entendimento do negócio como fase 1 e modelagem como fase 4 — e essa ordem é a lição inteira do capítulo.

De onde isto veio #

O aperto. Meados dos anos 1990. Mineração de dados era um mercado novo, com dinheiro entrando e nenhum acordo sobre como se trabalha. Cada projeto reinventava seu próprio processo. Dois times na mesma empresa entregavam relatórios que não se comparavam; duas empresas não conseguiam repetir o que a outra tinha feito. Não havia como saber se um resultado ruim veio do problema, dos dados ou de alguém ter pulado uma etapa — porque não existia a lista de etapas.

O que se fazia antes. Consultoria: cada casa trazia seu método interno, não publicado, casado com a ferramenta que vendia. E ferramenta se vendia sem método nenhum. Comprava-se o workbench, o pacote que reunia as ferramentas de mineração numa tela só, e o cliente que descobrisse sozinho o que fazer com ele.

A virada. Escrever um processo de indústria, e não de fornecedor. Seis fases explicitamente cíclicas, com entendimento do negócio na primeira posição e modelagem apenas na quarta. O documento não pertence a ninguém, não exige software algum e descreve entregas, não cliques.

A ideia reaproveitável. O método é o produto, não a ferramenta. Quando um campo novo ainda não tem processo comum, o processo comum vale mais do que qualquer algoritmo: é ele que torna o resultado auditável (dá para perguntar em que fase a coisa desandou) e transferível (outra equipe consegue continuar o trabalho). Vale para muito além de mineração de dados — é a mesma razão pela qual um repositório com README, testes e CI vale mais que um repositório com código mais esperto.

O nome. CRoss-Industry Standard Process for Data Mining. O "cross-industry" não é enfeite, é a tese: o processo não pode pertencer a um setor nem a um vendedor, ou volta a ser método de consultoria.

O prefácio do guia conta a origem em primeira pessoa. Concebido no fim de 1996 por três veteranos de um mercado que os próprios autores chamam de jovem e imaturo, virou consórcio no ano seguinte: "A year later we had formed a consortium, invented an acronym (CRoss-Industry Standard Process for Data Mining), obtained funding from the European Commission and begun to set out our initial ideas."

O consórcio tem quatro membros, e a página de propriedade do documento os lista: NCR, DaimlerChrysler (então Daimler-Benz), SPSS (então ISL, autora do Clementine, "the first commercial data mining workbench", de 1994) e a seguradora holandesa OHRA. Foi testado em projetos reais na Mercedes-Benz e na OHRA, e a versão 1.0 saiu em 1999 (guia CRISP-DM 1.0).

Olhe outra vez para a lista do consórcio: uma montadora e uma seguradora sentadas na mesma mesa. A prova de conceito do "cross-industry" está na composição do grupo — se o mesmo processo servisse para fabricar carros e para precificar apólices, servia para o resto.

A restrição material gerou a forma. O CRISP-DM não é fruto de uma boa ideia solta: é resposta a um mercado sem linguagem comum. O livro já viu isso duas vezes — no capítulo I.5, Playfair inventa o gráfico de barras porque não tinha a série temporal que os outros gráficos exigiam; no capítulo III.1, o neurônio de 1943 nasce sem aprendizado porque não havia como treinar coisa alguma. Falta de recurso é o que mais produz forma nova.

Procedência das afirmações desta seção:

Fundamentos: as seis fases e o que cada uma entrega #

Uma fase não termina quando o tempo acaba — termina quando ela entrega o artefato que a fase seguinte consome.

Três fases já têm capítulo próprio neste livro. A preparação dos dados é o assunto do capítulo I.3 e do capítulo I.2. A avaliação técnica, com matriz de confusão e métrica escolhida pelo custo do erro, é o capítulo II.1. A implantação é o capítulo V.2 e o capítulo V.3.

E vale separar duas coisas que o vocabulário mistura. A métrica que você calcula dentro da fase 4 responde "o modelo aprendeu?". A fase 5 responde "e daí?" — se o ganho de AUC vira dinheiro, se a lista chega a tempo de alguém agir, se o critério escrito na fase 1 foi atingido. Um modelo pode passar na primeira e reprovar na segunda. Foi exatamente o que aconteceu com o churn do início do capítulo.

As setas voltam: por que isto é um ciclo, não uma cascata #

O desenho do CRISP-DM tem setas entre fases vizinhas e setas de volta. Elas não são decoração de diagrama: são as quatro descobertas que todo projeto faz fora de ordem.

• Fase 2 → fase 1. Você abre os dados e descobre que a pergunta não é respondível: o campo que definiria o alvo só existe a partir de 2024, ou é preenchido à mão em 30% dos casos. A pergunta precisa mudar antes que qualquer coisa seja treinada.
• Fase 4 → fase 3. O laço mais frequente do ciclo. Todo erro que o modelo comete devolve trabalho para a preparação — um atributo novo, um vazamento a tapar, um recorte de amostra a corrigir.
• Fase 5 → fase 1. O modelo funciona e não serve: chega tarde, prevê o que ninguém pode acionar, ou o ganho não paga o custo operacional.
• Fase 6 → tudo. Em produção, o mundo muda debaixo do modelo — comportamento, catálogo, política de preço. É o drift do capítulo V.3, e é a razão de o CRISP-DM ser um círculo e não uma reta: a implantação reabre o ciclo, ela não o encerra.

A consequência prática vale a regra: a fase 3 é a mais revisitada, porque cada volta da modelagem cai nela. Quanto tempo isso representa, o CRISP-DM não promete — e este livro não repete a porcentagem que circula por aí sem tê-la medido.

Tratar o ciclo como cascata tem um custo específico e previsível: você descobre na semana seis o que custaria uma reunião na semana um.

Quem faz o quê: quatro papéis sobre o mesmo ciclo #

Os cargos que o mercado usa não são especializações por técnica — são recortes do ciclo. Ver assim explica por que um time incompleto sempre falha na mesma fase.

Duas leituras saem da tabela. A primeira: a fase 3 é onde os papéis se encontram, com o engenheiro entregando a fonte e o cientista construindo o atributo, e por isso é onde mais se perde trabalho quando ninguém combinou quem faz o quê.

A segunda é mais séria. Num time só de gente técnica, a fase 1 fica sem dono. Ninguém foi contratado para descobrir qual decisão vai mudar, e o ciclo começa pela fase 2 — que é exatamente o erro da primeira seção deste capítulo. Em time pequeno, uma pessoa ocupa vários papéis, e isso funciona; o que não funciona é uma fase sem responsável declarado.

Síntese — o que levar #

• O CRISP-DM tem seis fases: entendimento do negócio, entendimento dos dados, preparação, modelagem, avaliação e implantação. Cada uma termina por entrega, não por prazo.
• Modelagem é a quarta. Começar pelos dados disponíveis faz o rótulo sair do que é fácil de calcular, e não do que é possível decidir.
• A fase 5 não é a métrica de teste: é "isto resolve o problema da fase 1?". Modelo pode passar na 4 e reprovar na 5.
• As setas voltam. Fase 4 devolve trabalho para a 3; fase 5 devolve para a 1; a implantação reabre o ciclo por causa do drift.
• Os cargos são recortes do ciclo, não especialidades técnicas — e num time só técnico a fase 1 fica sem dono.
• Nasceu de um consórcio de quatro organizações (1996–1999), financiado pela Comissão Europeia, com montadora e seguradora na mesma mesa, para que o processo não pertencesse a nenhum fornecedor.
• O método é o produto, não a ferramenta. Em campo novo, o processo comum é o que torna o resultado auditável e transferível — mais do que qualquer algoritmo.

Verificação #

1. Liste as seis fases de memória e diga, em uma frase cada, o artefato que cada uma entrega para a seguinte.
2. Um colega diz: "não dá para conversar com o negócio antes de olhar os dados, porque não sabemos o que é possível". O que há de certo nessa objeção, e por que ela mesmo assim não justifica começar pela fase 2?
3. Você chega a um projeto em que ninguém sabe dizer qual decisão vai mudar por causa do modelo. Que perguntas você faz, e a quem, antes de escrever a primeira linha de código?