O Neurônio Artificial

Objetivos de aprendizagem #

• O1. Descrever o neurônio de McCulloch–Pitts e o que ele computa.
• O2. Encontrar, à mão, pesos e limiar que implementem uma função lógica dada.
• O3. Explicar geometricamente por que um único neurônio não resolve o XOR.
• O4. Situar historicamente por que essa limitação parou a área — e o que a destravou.

O problema: pode uma máquina pensar em lógica? #

Em 1943 não havia computador digital comercial nem "Machine Learning". A pergunta que Warren McCulloch e Walter Pitts se fizeram era outra: a atividade do cérebro pode ser descrita como lógica?

A resposta deles foi um modelo brutalmente simples de neurônio (McCulloch & Pitts, 1943, ✓ᵐ). O neurônio recebe entradas, multiplica cada uma por um peso, soma tudo, e dispara (devolve 1) se a soma alcançar um limiar. Senão, devolve 0.

Aqui y é a saída, x são as entradas, w são os pesos e θ (teta) é o limiar — a mesma notação do diagrama.

É só isso. Uma soma ponderada e uma comparação.

O que McCulloch e Pitts demonstraram foi que redes desses elementos podem computar qualquer função lógica proposicional. O argumento era filosófico antes de ser tecnológico: se o pensamento é lógica, e a lógica é computável por neurônios, então o pensamento é computável. A ideia está na fundação da inteligência artificial, da teoria de autômatos e da cibernética, quinze anos antes de existir uma máquina que aprendesse alguma coisa.

Repare no que ainda não existe aqui: aprendizado. No modelo de 1943 os pesos são postos à mão por quem projeta a rede. Descobrir os pesos automaticamente é o passo seguinte da história, e é o que o perceptron de Rosenblatt traz em 1958.

De onde isto veio #

O aperto. McCulloch era neurofisiologista e passara anos atrás de uma pergunta que a fisiologia da época não sabia formular: que tipo de coisa o cérebro faz, do ponto de vista lógico? Pitts tinha vinte anos, nenhum diploma, nenhum endereço fixo, e lia lógica formal desde os doze. Nenhum dos dois queria construir uma máquina — queriam decidir uma questão filosófica com ferramenta matemática. Havia um órgão que evidentemente processava informação, e nenhuma linguagem para descrever o que ele processava.

O que se fazia antes. Descrevia-se o neurônio em termos químicos e elétricos — potenciais, limiares de disparo, sinapses. Descrição correta e inútil para a pergunta: nenhuma quantidade de eletroquímica dizia se aquilo computava alguma coisa.

A virada. Jogar fora quase tudo. Nada de tempo contínuo, nada de química, nada de geometria do axônio — só "soma o que chega, e dispara se passar de um limite". Com essa abstração violenta veio a prova: redes desses elementos computam qualquer função lógica proposicional.

A ideia reaproveitável. Uma abstração vale pelo que ela permite provar, não pela fidelidade ao original. O neurônio de 1943 é biologicamente errado de propósito, e foi por ter descartado a biologia que rendeu um teorema. Todo modelo que você vai construir neste livro faz a mesma aposta: joga fora o que não serve à pergunta. Quem perde de vista o que foi jogado fora acaba acreditando no modelo em vez de usá-lo, e daí vem boa parte do exagero sobre o que redes neurais "entendem".

O nome. "Neurônio artificial" veio da motivação do modelo, e descreve mal o que ele faz. E é mais velho que o campo: a expressão inteligência artificial só apareceria doze anos depois.

Vale guardar duas coisas: o neurônio artificial é doze anos mais velho que o nome do campo em que vive, e a ideia de Turing sobre máquinas pensantes é de 1948, não de 1950 — o texto famoso é o segundo, e o primeiro passou vinte anos numa gaveta.

A linha até 1986, e o que ela ensina sobre crédito #

Rosenblatt provou que, se o problema for linearmente separável, o perceptron converge em número finito de passos. A prova é sólida, e tudo depende da condição no meio dela. O entusiasmo de 1958 leu só a primeira parte, e a imprensa prometeu máquinas conscientes.

Onze anos depois, Perceptrons demonstrou com rigor o que você vai descobrir no laboratório abaixo: uma camada não computa o XOR. O argumento estava correto; a leitura que se fez dele foi mais ampla do que os autores demonstraram, o financiamento migrou para a IA simbólica, e veio o inverno da IA.

A saída veio em 1986, e a moral vale além da história: a limitação nunca foi do neurônio, era da arquitetura de uma camada só. O capítulo III.2 constrói a rede multicamada que resolve isso.

E repare em quem leva o crédito. Rumelhart, Hinton e Williams popularizaram o backpropagation; a descrição é de Linnainmaa, dezesseis anos antes, numa tese de mestrado em finlandês que, nas palavras de um levantamento histórico do campo, traz o método "albeit without reference to NNs".

Esse levantamento é de Jürgen Schmidhuber, e ele declara o próprio propósito no prefácio: "One of its goals is to assign credit to those who contributed to the present state of the art." Um artigo de revisão escrito para acertar atribuição é, ele mesmo, sintoma de que a atribuição estava errada. A formulação a seguir é deste livro, e não de Schmidhuber: o crédito não fica com quem inventa primeiro, e sim com quem reinventa por último, num momento em que a comunidade está pronta para ouvir.

O espelho disto está no capítulo II.2. Lá, Gauss provavelmente tinha os mínimos quadrados antes e perdeu a prioridade para Legendre, que publicou primeiro e argumentou que prioridade se estabelece por publicação. O "provavelmente" é do estudo de referência sobre a disputa, que argumenta sem concluir. Os dois casos, juntos, dizem o que nenhum diz sozinho: crédito não segue descoberta, segue comunicação — e é por isso que publicar, datar e documentar contam como trabalho científico.

Sobre "um italiano em 1979". Essa memória circula, e não encontrei quem a sustente. O que a linha do tempo acima ancora em 1979 é o neocognitron de Fukushima, japonês, publicado em inglês no ano seguinte. Werbos, americano, está em 1974 e em 1981, perto de 1979 mas não nele. E a prioridade de 1970 é de Linnainmaa, finlandês. Se você tiver a referência, ela entra aqui — até lá o livro registra a dúvida em vez de escolher uma versão.

Procedência das afirmações desta seção:

Mão na massa: encontre os pesos você mesmo #

Antes de ler qualquer explicação, brinque. Ajuste w₁, w₂ e θ até a tabela-verdade fechar.

No E (AND), o neurônio deve disparar só quando as duas entradas forem 1.

O que você deveria ter notado #

Primeiro: não existe a resposta certa. Para o AND, w₁=1, w₂=1, θ=2 funciona; w₁=0,6, w₂=0,6, θ=1 também; w₁=3, w₂=2, θ=4,5 também. Infinitas retas separam aqueles quatro pontos. A multiplicidade é a natureza do problema, e não um defeito do laboratório. É a mesma razão pela qual dois modelos treinados com sementes diferentes chegam a coeficientes diferentes e à mesma qualidade.

Segundo: você estava fazendo, à mão, exatamente o que o gradiente descendente do capítulo II.4 faz sozinho — mover a fronteira até que os erros acabem. A diferença é que você olhava a tabela inteira e ajustava por intuição; o algoritmo olha um erro por vez e ajusta por regra fixa.

Terceiro — e este é o ponto do capítulo: no XOR você travou em 3 de 4.

A regra escrita, e de quem é a culpa #

Os dois laboratórios acima mostram a fronteira se mexendo. Falta ver a conta que a move. São quatro linhas, e a quarta é a única que tem alguma ideia dentro.

A soma ponderada. Cada entrada entra pesada pelo seu peso:

A saída. O degrau compara a soma com o limiar:

O erro. O que faltou, com sinal. Só pode dar três valores:

O ajuste. A regra de Rosenblatt inteira:

Leia a quarta devagar, porque ela responde uma pergunta que parece difícil: errou, mas de quem é a culpa? Quem responde é o $x_i$. A entrada pondera o erro: cada peso é corrigido na medida em que a entrada dele participou da soma. Se $x_i=0$, aquele peso não contribuiu para o resultado e não é tocado, mesmo com o erro valendo 1. Se $e=0$, ninguém é tocado, porque acertar não é motivo para mexer em nada.

É a atribuição de culpa mais barata que se pode imaginar, e ela converge. O problema de decidir qual peso corrigir tem nome, credit assignment, e é o obstáculo que reaparece no capítulo III.2 numa versão muito mais difícil, quando houver uma camada escondida e ninguém souber o que cada unidade deveria ter feito.

A tabela, à mão #

Partida aleatória: $w_1=-0,2$ e $w_2=0,4$. Limiar $\theta =0,5$ fixo, taxa $\eta =0,5$, alvo OU. Os pesos de cada linha são os de antes do ajuste daquela linha.

A terceira época inteira passa sem um único erro, e é isso que significa convergir: não é "acertou uma vez", é uma varredura completa sem correção. Pesos finais $w_1=0,8$ e $w_2=0,9$, com $\theta =0,5$.

Três coisas para reparar, e a primeira é a que ensina.

A terceira linha da primeira época. Erro de $+1$, e mesmo assim $\mathrm{\Delta }{w}_2=0$, porque naquele caso $x_2=0$. A rede errou, e $w_2$ não teve parte nisso. Corrigir os dois pesos igualmente, que é o gesto intuitivo, estragaria o caso $(0,1)$ que já estava certo.

O caso $(0,0)$ não move nada, e nunca poderá. Com as duas entradas em zero, $\mathrm{\Delta }{w}_1=\mathrm{\Delta }{w}_2=0$ qualquer que seja o erro. Para o OU isso não incomoda, porque a soma dá 0 e $0<0,5$ já entrega a resposta certa. Mas se a função pedisse 1 em $(0,0)$, este neurônio nunca aprenderia, e não por falta de épocas: não existe peso capaz de mexer naquela linha. Quem resolve é o viés, uma entrada fixa em 1 que participa de todas as linhas.

O erro só assume três valores. É o degrau: o perceptron sabe se errou e para que lado, nunca quanto. Isso o torna barato e é o que garante a convergência, mas é também o que impede de treinar uma rede com camada escondida. Sem "quanto" não há gradiente para propagar, e é por isso que a sigmoide toma o lugar do degrau no próximo capítulo.

Por que o XOR é impossível #

Não é falta de habilidade nem de paciência. É geometria.

O XOR dispara em (0,1) e (1,0), e não dispara em (0,0) e (1,1). Coloque os quatro pontos num quadrado: os que devem disparar estão em cantos opostos, e os que não devem também.

Uma reta divide o plano em dois lados. Para resolver o XOR ela precisaria deixar dois cantos opostos de um lado e os outros dois do outro — e nenhuma reta faz isso. Não importa quanto você gire ou translade: qualquer reta que separe (0,1) de (0,0) e (1,1) vai deixar (1,0) do lado errado.

O nome técnico é separabilidade linear. AND, OR, NAND e NOR são linearmente separáveis; XOR não é. E um neurônio de McCulloch–Pitts, ou um perceptron, ou uma regressão logística, traça exatamente uma reta.

É a mesma limitação que o capítulo II.5 mediu com outro vocabulário: naquele experimento, o modelo linear ficou em 0,4963 de AUC, ou seja, acaso, porque a fronteira verdadeira era não-monotônica. Aqui você vê a razão em quatro pontos, em vez de numa tabela de resultados.

A saída, montada à mão: dois neurônios #

O XOR é impossível para um neurônio. As três últimas palavras são a parte que todo mundo esquece de repetir.

Um neurônio traça uma reta. O XOR precisa de duas. Então use dois neurônios.

Mão na massa: rode o código #

Além do laboratório, o capítulo tem código Python que você pode baixar e rodar — sem instalar nada, nem NumPy.

O notebook tem três partes, e a terceira é a que fecha o capítulo:

1. Você põe os pesos à mão — a célula tem w1, w2, theta = 0.0, 0.0, 0.0 e um comentário <-- MEXA AQUI.
2. O perceptron acha os pesos sozinho — a regra de Rosenblatt em oito linhas, convergindo em poucas épocas para AND, OR, NAND e NOR.
3. O XOR por força bruta. Em vez de argumentar, o notebook testa 15.625 combinações de pesos e limiar numa grade fina. O melhor resultado que aparece é 3 de 4. Nunca 4.

Esse último ponto é o que transforma "é impossível" de afirmação em resultado. E há um detalhe no caminho: treinando o perceptron no XOR, o número de erros por época nem diminui, ele oscila. O perceptron não se aproxima da solução, porque não há solução de que se aproximar. É o sintoma do impossível, não do difícil.

Síntese — o que levar #

• O neurônio de McCulloch–Pitts (1943) faz uma soma ponderada e uma comparação com um limiar. Nada mais.
• No modelo original não há aprendizado: os pesos são postos à mão. Aprender pesos é o perceptron, de 1958.
• Encontrar pesos à mão é fazer manualmente o que o gradiente faz sozinho: mover a fronteira até os erros acabarem.
• Há infinitas soluções para cada função separável — e nenhuma para o XOR, por geometria.
• A limitação era da arquitetura de uma camada, não do neurônio. A saída foi empilhar camadas e treiná-las com backpropagation.
• O neurônio artificial (1943) é doze anos mais velho que o termo "inteligência artificial" (1955) — e a ideia de Turing sobre máquinas pensantes está no relatório de 1948, não no artigo famoso de 1950.
• O backpropagation foi descrito em 1970 (Linnainmaa), aplicado a redes em 1981 (Werbos) e popularizado em 1986. A leitura deste livro: o crédito vai ao último reinventor.

Verificação #

1. Sem olhar o laboratório, dê pesos e limiar que implementem o NÃO-E (NAND). Depois confira.
2. Explique a alguém, em duas frases, por que o XOR é impossível para um neurônio só.
3. Se uma segunda camada resolve o XOR, por que a área levou quase vinte anos para usá-la?
4. O termo "inteligência artificial" é de 1955 e o neurônio artificial é de 1943. O que isso diz sobre como campos científicos se formam?

Referências deste capítulo #

Toda fonte citada acima, reunida num lugar só, com o selo que diz até onde ela foi conferida. A legenda completa está no Guia Editorial; em resumo: ✓ a fonte foi aberta e lida · ✓ᵐ só os metadados foram conferidos, e o texto não foi lido por inteiro · ⏳ atribuição corrente, ainda sem conferência em primária · ❌ procurei e não achei.

Errata #

O que este capítulo já afirmou e teve de corrigir. Fica no fim, e não no meio do texto, porque é registro de manutenção e não conteúdo de aula — mas fica, porque um livro que corrige em silêncio pede confiança em vez de merecê-la.