Uma rede neural recursiva é um tipo de rede neural profunda criada pela aplicação do mesmo conjunto de pesos recursivamente sobre uma entrada estruturada, para produzir uma previsão estruturada sobre estruturas de entrada de tamanho variável, ou uma previsão escalar sobre ela, atravessando uma dada estrutura em ordem topológica. Estas redes foram introduzidas pela primeira vez para aprender representações distribuídas de estrutura (como termos lógicos), mas têm tido sucesso em múltiplas aplicações, por exemplo, na aprendizagem de sequências e estruturas de árvore no processamento de linguagem natural (principalmente representações contínuas de frases e sentenças baseadas em embeddings de palavras).
Arquiteturas
Básica thumb|Uma arquitetura de rede neural recursiva simples
Na arquitetura mais simples, os nós são combinados em pais usando uma matriz de pesos (que é compartilhada por toda a rede) e uma não-linearidade, como a função hiperbólica . Se e são representações vetoriais -dimensionais de nós, o seu pai também será um vetor -dimensional, definido como:
onde é uma matriz de pesos aprendida .
Esta arquitetura, com algumas melhorias, tem sido usada com sucesso para a análise de cenas naturais, análise sintática de frases em linguagem natural, e autocodificação recursiva e modelagem generativa de estruturas de formas 3D na forma de abstrações cuboides.
Correlação em cascata recursiva (RecCC) A RecCC é uma abordagem de rede neural construtiva para lidar com domínios de árvore com aplicações pioneiras à química e extensão a grafos acíclicos dirigidos.
RNN não supervisionada Um framework para RNN não supervisionada foi introduzido em 2004.
Tensor Redes de tensores neurais recursivas usam uma única função de composição baseada em tensores para todos os nós da árvore.
Treinamento
Método do gradiente estocástico Normalmente, o método do gradiente estocástico (SGD) é usado para treinar a rede. O gradiente é calculado usando a retropropagação através da estrutura (BPTS), uma variante da retropropagação através do tempo usada para redes neurais recorrentes.
Propriedades A capacidade de aproximação universal das RNNs sobre árvores foi provada na literatura.
Modelos relacionados
Redes neurais recorrentes
As redes neurais recorrentes são redes neurais artificiais recursivas com uma certa estrutura: a de uma cadeia linear. Enquanto as redes neurais recursivas operam em qualquer estrutura hierárquica, combinando representações-filho em representações-pai, as redes neurais recorrentes operam na progressão linear do tempo, combinando o passo de tempo anterior e uma representação oculta na representação para o passo de tempo atual.
Tree Echo State Networks Uma abordagem eficiente para implementar redes neurais recursivas é dada pela Tree Echo State Network (Rede de estado de eco em árvore) dentro do paradigma da computação de reservatório.
Extensão a grafos As extensões a grafos incluem a rede neural de grafos (GNN), Neural Network for Graphs (NN4G), e, mais recentemente, redes neurais convolucionais para grafos.
Referências
Categoria:Arquiteturas de redes neurais Categoria:Redes neurais artificiais