O Neurônio Artificial

Objetivos de aprendizagem #

• O1. Descrever o neurônio de McCulloch–Pitts e o que ele computa.
• O2. Encontrar, à mão, pesos e limiar que implementem uma função lógica dada.
• O3. Explicar geometricamente por que um único neurônio não resolve o XOR.
• O4. Situar historicamente por que essa limitação parou a área — e o que a destravou.

O problema: pode uma máquina pensar em lógica? #

Em 1943 não havia computador digital comercial, não havia "Machine Learning", e a pergunta que Warren McCulloch — neurofisiologista — e Walter Pitts — um lógico de vinte anos, autodidata, que vivia sem endereço fixo — se fizeram era outra: a atividade do cérebro pode ser descrita como lógica?

A resposta deles foi um modelo brutalmente simples de neurônio (McCulloch & Pitts, 1943, ✓). O neurônio recebe entradas, multiplica cada uma por um peso, soma tudo, e dispara — devolve 1 — se a soma alcançar um limiar. Senão, devolve 0.

Aqui y é a saída, x são as entradas, w são os pesos e θ (teta) é o limiar — a mesma notação do diagrama acima.

É só isso. Uma soma ponderada e uma comparação.

O que McCulloch e Pitts demonstraram foi que redes desses elementos podem computar qualquer função lógica proposicional. O argumento era filosófico antes de ser tecnológico: se o pensamento é lógica, e a lógica é computável por neurônios, então o pensamento é computável. Foi uma das ideias fundadoras da inteligência artificial, da teoria de autômatos e da cibernética — quinze anos antes de existir uma máquina que aprendesse alguma coisa.

Repare no que ainda não existe aqui: aprendizado. No modelo de 1943 os pesos são postos à mão por quem projeta a rede. Descobrir os pesos automaticamente é o passo seguinte da história, e é o que o perceptron de Rosenblatt traz em 1958.

De onde isto veio #

O aperto. McCulloch era neurofisiologista e passara anos atrás de uma pergunta que a fisiologia da época não sabia formular: que tipo de coisa o cérebro faz, do ponto de vista lógico? Pitts tinha vinte anos, nenhum diploma, e lia lógica formal desde os doze. Nenhum dos dois queria construir uma máquina — queriam decidir uma questão filosófica com ferramenta matemática. O aperto era esse: havia um órgão que evidentemente processava informação, e nenhuma linguagem para descrever o que ele processava.

O que se fazia antes. Descrevia-se o neurônio em termos químicos e elétricos — potenciais, limiares de disparo, sinapses. Descrição correta e inútil para a pergunta: nenhuma quantidade de eletroquímica dizia se aquilo computava alguma coisa.

A virada. Jogar fora quase tudo. Nada de tempo contínuo, nada de química, nada de geometria do axônio — só "soma o que chega, e dispara se passar de um limite". Com essa abstração violenta eles provaram que redes desses elementos computam qualquer função lógica proposicional. Se o pensamento é lógica, e a lógica cabe em neurônios, então o pensamento é computável — quinze anos antes de existir máquina que aprendesse coisa alguma.

A ideia reaproveitável. Uma abstração vale pelo que ela permite provar, não pela fidelidade ao original. O neurônio de 1943 é biologicamente errado de propósito — e é justamente por ter descartado a biologia que rendeu um teorema. Todo modelo que você vai construir neste livro faz a mesma aposta: joga fora o que não serve à pergunta. Saber o que foi jogado fora é o que separa usar um modelo de acreditar nele — e é a origem de boa parte do exagero sobre o que redes neurais "entendem".

O nome. "Neurônio artificial" é herança da motivação, não descrição do mecanismo. E é mais velho que o campo: a expressão inteligência artificial só apareceria treze anos depois.

Duas coisas valem ficar: o neurônio artificial é treze anos mais velho que o nome do campo em que vive, e a ideia de Turing sobre máquinas pensantes é de 1948, não de 1950 — o texto famoso é o segundo, e o primeiro passou vinte anos numa gaveta.

A linha até 1986, e o que ela ensina sobre crédito #

Rosenblatt provou que, se o problema for linearmente separável, o perceptron converge em número finito de passos. A prova é sólida e a condição é a chave — mas o entusiasmo de 1958 leu só a primeira parte, e a imprensa prometeu máquinas conscientes. Onze anos depois, Perceptrons demonstrou com rigor o que você vai descobrir no laboratório abaixo: uma camada não computa o XOR. O argumento estava correto; a leitura que se fez dele foi mais ampla do que os autores demonstraram, o financiamento migrou para a IA simbólica, e veio o inverno da IA.

A saída, em 1986, tem uma moral que vale além da história: a limitação nunca foi do neurônio, era da arquitetura de uma camada só. O capítulo 09 constrói a rede multicamada que resolve isso.

E repare em quem leva o crédito. Rumelhart, Hinton e Williams popularizaram o backpropagation; a descrição é de Linnainmaa, dezesseis anos antes, em finlandês, sem mencionar redes neurais. Jürgen Schmidhuber, que passou anos reivindicando a atribuição correta, resume assim: não é o primeiro inventor que leva o crédito, é o último reinventor.

O espelho disto está no capítulo 05. Lá, Gauss descobriu os mínimos quadrados antes e perdeu a prioridade para Legendre, que publicou primeiro e argumentou que prioridade se estabelece por publicação. Os dois casos, juntos, dizem o que nenhum diz sozinho: crédito não segue descoberta, segue comunicação — e é por isso que publicar, datar e documentar faz parte do método, não da burocracia.

Sobre "um italiano em 1979". Essa memória circula, e não encontrei quem a sustente. O que existe em 1979 são as publicações de Werbos (americano) e o neocognitron de Fukushima (japonês, em inglês no ano seguinte); a prioridade de 1970 é de Linnainmaa, finlandês. Se você tiver a referência, ela entra aqui — até lá o livro registra a dúvida em vez de escolher uma versão.

Procedência das afirmações desta seção:

Mão na massa: encontre os pesos você mesmo #

Antes de ler qualquer explicação, brinque. Ajuste w₁, w₂ e θ até a tabela-verdade fechar.

Comece pelo E (AND): o neurônio deve disparar só quando as duas entradas forem 1.

O que você deveria ter notado #

Primeiro: não existe a resposta certa. Para o AND, w₁=1, w₂=1, θ=2 funciona; w₁=0,6, w₂=0,6, θ=1 também; w₁=3, w₂=2, θ=4,5 também. Infinitas retas separam aqueles quatro pontos — e essa multiplicidade não é defeito, é a natureza do problema. É a mesma razão pela qual dois modelos treinados com sementes diferentes chegam a coeficientes diferentes e à mesma qualidade.

Segundo: você estava fazendo, à mão, exatamente o que o gradiente descendente do capítulo 06 faz sozinho — mover a fronteira até que os erros acabem. A diferença é que você olhava a tabela inteira e ajustava por intuição; o algoritmo olha um erro por vez e ajusta por regra fixa.

Terceiro — e este é o ponto do capítulo: no XOR você travou em 3 de 4.

Por que o XOR é impossível #

Não é falta de habilidade nem de paciência. É geometria.

O XOR dispara em (0,1) e (1,0), e não dispara em (0,0) e (1,1). Coloque os quatro pontos num quadrado: os que devem disparar estão em cantos opostos, e os que não devem também.

Uma reta divide o plano em dois lados. Para resolver o XOR ela precisaria deixar dois cantos opostos de um lado e os outros dois do outro — e nenhuma reta faz isso. Não importa quanto você gire ou translade: qualquer reta que separe (0,1) de (0,0) e (1,1) vai deixar (1,0) do lado errado.

O nome técnico é separabilidade linear. AND, OR, NAND e NOR são linearmente separáveis; XOR não é. E um neurônio de McCulloch–Pitts — ou um perceptron, ou uma regressão logística — traça exatamente uma reta.

É a mesma limitação que o capítulo 07 mediu com outro vocabulário: naquele experimento, o modelo linear ficou em 0,4963 de AUC — acaso — porque a fronteira verdadeira era não-monotônica. Aqui você vê a razão em quatro pontos, em vez de em uma tabela de resultados.

Mão na massa: rode o código #

Além do laboratório, o capítulo tem código Python que você pode baixar e rodar — sem instalar nada, nem NumPy.

O notebook tem três partes, e a terceira é a que fecha o capítulo:

1. Você põe os pesos à mão — a célula tem w1, w2, theta = 0.0, 0.0, 0.0 e um comentário <-- MEXA AQUI.
2. O perceptron acha os pesos sozinho — a regra de Rosenblatt em oito linhas, convergindo em poucas épocas para AND, OR, NAND e NOR.
3. O XOR por força bruta. Em vez de argumentar, o notebook testa 15.625 combinações de pesos e limiar numa grade fina. O melhor resultado que aparece é 3 de 4. Nunca 4.

Esse último ponto é o que transforma "é impossível" de afirmação em resultado. E há um detalhe no meio do caminho que vale reparar: treinando o perceptron no XOR, o número de erros por época nem diminui — ele oscila. O perceptron não se aproxima da solução, porque não há solução de que se aproximar. É o sintoma do impossível, não do difícil.

Síntese — o que levar #

• O neurônio de McCulloch–Pitts (1943) faz uma soma ponderada e uma comparação com um limiar. Nada mais.
• No modelo original não há aprendizado: os pesos são postos à mão. Aprender pesos é o perceptron, de 1958.
• Encontrar pesos à mão é fazer manualmente o que o gradiente faz sozinho: mover a fronteira até os erros acabarem.
• Há infinitas soluções para cada função separável — e nenhuma para o XOR, por geometria.
• A limitação era da arquitetura de uma camada, não do neurônio. A saída foi empilhar camadas e treiná-las com backpropagation.
• O neurônio artificial (1943) é treze anos mais velho que o termo "inteligência artificial" (1955) — e a ideia de Turing sobre máquinas pensantes está no relatório de 1948, não no artigo famoso de 1950.
• O backpropagation foi descrito em 1970 (Linnainmaa), aplicado a redes em 1974 (Werbos) e popularizado em 1986. Em ciência, o crédito vai ao último reinventor.

Verificação #

1. Sem olhar o laboratório, dê pesos e limiar que implementem o NÃO-E (NAND). Depois confira.
2. Explique a alguém, em duas frases, por que o XOR é impossível para um neurônio só.
3. Se uma segunda camada resolve o XOR, por que a área levou quase vinte anos para usá-la?
4. O termo "inteligência artificial" é de 1955 e o neurônio artificial é de 1943. O que isso diz sobre como campos científicos se formam?