A regra de aprendizagem ou processo de aprendizagem de uma rede neural artificial é um método, lógica matemática ou algoritmo que melhora o desempenho e/ou o tempo de treinamento da rede. Normalmente, essa regra é aplicada repetidamente na rede. Isso é feito atualizando o peso e o viés.  níveis de uma rede quando ela é simulada em um ambiente de dados específico. Uma regra de aprendizagem pode aceitar condições existentes (pesos e vieses) da rede e comparará o resultado esperado e o resultado real da rede para fornecer valores novos e aprimorados para os pesos e vieses. Dependendo da complexidade do modelo que está sendo simulado, a regra de aprendizagem da rede pode ser tão simples quanto uma porta XOR ou erro quadrático médio, ou tão complexa quanto o resultado de um sistema de equações diferenciais .

A regra de aprendizagem é um dos fatores que determinam a rapidez e a precisão com que a rede neural pode ser desenvolvida. Dependendo do processo de desenvolvimento da rede, existem três paradigmas principais de aprendizado de máquina:

aprendizagem supervisionada , aprendizagem não supervisionada , e aprendizagem por reforço .

Aprofundamento Muitos dos métodos de aprendizagem em aprendizado de máquina funcionam de forma semelhante e são baseados uns nos outros, o que dificulta sua classificação em categorias exatas. No entanto, eles podem ser amplamente compreendidos em quatro categorias de métodos de aprendizagem, embora essas categorias não tenham limites claros e tendam a pertencer a múltiplas categorias de métodos de aprendizagem -

Hebbian - Neocognitron, Estado cerebral em uma caixa Descida de Gradiente - ADALINE, Rede Hopfield, Rede Neural Recorrente Competitivo - Quantização de Vetores de Aprendizagem, Mapa de Características Auto-Organizado, Teoria de Ressonância Adaptativa Estocástico - Máquina de Boltzmann, Máquina de Cauchy

Embora essas regras de aprendizagem possam parecer baseadas em ideias semelhantes, elas têm diferenças sutis, pois são uma generalização ou aplicação da regra anterior e, portanto, faz sentido estudá-las separadamente com base em suas origens e intenções.

Regra de aprendizagem Hebbian Desenvolvido por Donald Hebb em 1949 para descrever o disparo de neurônios biológicos. Em meados da década de 1950, também foi aplicado a simulações computacionais de redes neurais.

Onde representa a taxa de aprendizagem, representa a entrada do i-ésimo neurônio, e y é a saída do neurônio. Foi demonstrado que a regra de Hebb em sua forma básica é instável. A Regra de Oja e a Teoria BCM são outras regras de aprendizagem construídas sobre ou em conjunto com a Regra de Hebb no estudo de neurônios biológicos.

Regra de Aprendizagem do Perceptron (Perceptron Learning Rule - PLR) A regra de aprendizagem do perceptron origina-se da suposição Hebbiana e foi utilizada por Frank Rosenblatt em seu perceptron em 1958. A rede é passada para a função de ativação ( transferência ) e a saída da função é usada para ajustar os pesos. O sinal de aprendizagem é a diferença entre a resposta desejada e a resposta real de um neurônio. A função degrau é frequentemente usada como uma função de ativação, e as saídas são geralmente limitadas a -1, 0 ou 1.

Os pesos são atualizados com

onde "t" é o valor alvo e "o" é a saída do perceptron, e

𝜂 é chamado de taxa de aprendizagem.

O algoritmo converge para a classificação correta se:

os dados de treinamento são linearmente separáveis * é suficientemente pequeno (embora menor geralmente significa um tempo de aprendizagem mais longo e mais épocas)

* Deve-se notar também que um perceptron de camada única com esta regra de aprendizagem é incapaz de trabalhar em entradas linearmente não separáveis e, portanto, o problema XOR não pode ser resolvido usando esta regra sozinha

Retropropagação (Backpropagation) Diz-se que Seppo Linnainmaa desenvolveu o Algoritmo de Retropropagação em 1970 , mas as origens do algoritmo remontam à década de 1960, com muitos colaboradores. É uma generalização do algoritmo dos mínimos quadrados médios no perceptron linear e da Regra de Aprendizagem Delta.

Ele implementa a busca por descida de gradiente através do espaço de pesos de rede possíveis, reduzindo iterativamente o erro entre os valores de destino e as saídas da rede.

Regra de aprendizagem Delta Widrow-Hoff (Regra de Aprendizagem Delta)

Semelhante à regra de aprendizagem do perceptron, mas com origem diferente. Foi desenvolvida para uso na rede ADALINE, que difere do Perceptron principalmente em termos de treinamento. Os pesos são ajustados de acordo com a soma ponderada das entradas (a rede), enquanto no perceptron o sinal da soma ponderada era útil para determinar a saída, já que o limite era definido como 0, -1 ou +1. Isso torna o ADALINE diferente do perceptron normal.

A Regra de Aprendizagem Delta é semelhante à regra de aprendizagem do perceptron (PLR), com algumas diferenças:

O erro (δ) em DR não se restringe a ter valores de 0, 1 ou -1 (como em PLR), mas pode ter qualquer valor DR pode ser derivado para qualquer função de saída/ativação diferenciável f, enquanto que em PLR funciona apenas para função de saída de limite

Às vezes, apenas quando a regra de Widrow-Hoff é aplicada especificamente a alvos binários, ela é chamada de Regra Delta, mas os termos parecem ser usados frequentemente de forma intercambiável. A regra delta é considerada um caso especial do algoritmo de retropropagação .

A regra Delta também se assemelha muito ao modelo Rescorla-Wagner, sob o qual ocorre o condicionamento pavloviano.

Aprendizagem Competitiva O aprendizado competitivo é considerado uma variante do aprendizado Hebbiano, mas é específico o suficiente para ser discutido separadamente. O aprendizado competitivo funciona aumentando a especialização de cada nó na rede. É adequado para encontrar clusters dentro de dados.

Modelos e algoritmos baseados no princípio da aprendizagem competitiva incluem quantização vetorial e mapas auto-organizados (mapas de Kohonen).

Ver também

Aprendizado de máquina Aprendizagem de árvore de decisão Reconhecimento de padrões Dilema do viés-variância Viés de um estimador Algoritmo de expectativa-maximização

Referências

Categoria:Aprendizagem