Rprop, abreviatura de retropropagación resiliente, es una heurística de aprendizaje para redes neuronales artificiales alimentadas hacia adelante en el contexto del aprendizaje supervisado. Es un algoritmo de optimización de primer orden creado por Martin Riedmiller y Heinrich Braun en 1992.Martin Riedmiller und Heinrich Braun: Rprop - A Fast Adaptive Learning Algorithm. Proceedings of the International Symposium on Computer and Information Science VII, 1992
Similar a la regla de actualización de Manhattan, Rprop solo considera el signo de la derivada parcial en todos los patrones (no la magnitud) y actúa independientemente en cada "peso". Para cada peso, si hubo un cambio de signo en la derivada parcial de la función de error total en comparación con la última iteración, el valor de actualización de ese peso se multiplica por un factor η−, donde η− es menor que 1. Si la última iteración produjo el mismo signo, el valor de actualización se multiplica por un factor de η+, donde η+ es mayor que 1. Finalmente, cada peso se ajusta en la dirección opuesta a su derivada parcial para minimizar la función de error total. Empíricamente, η+ se establece en 1.2 y η− en 0.5.
Rprop puede producir incrementos o decrementos muy grandes en los pesos si los gradientes son grandes, lo que es un problema al usar mini-lotes en lugar de lotes completos. RMSprop aborda este problema manteniendo un promedio móvil de los gradientes cuadrados para cada peso y dividiendo el gradiente por la raíz cuadrada del promedio cuadrático.
Rprop es un algoritmo de actualización por lotes. Junto con el algoritmo de correlación en cascada y el algoritmo de Levenberg-Marquardt, Rprop es uno de los mecanismos de actualización de pesos más rápidos.
Variaciones Martin Riedmiller desarrolló tres algoritmos, todos llamados RPROP. Igel y Hüsken les asignaron nombres y agregaron una nueva variante:Christian Igel y Michael Hüsken. Improving the Rprop Learning Algorithm. Second International Symposium on Neural Computation (NC 2000), pp. 115-121, ICSC Academic Press, 2000 Christian Igel y Michael Hüsken. Empirical Evaluation of the Improved Rprop Learning Algorithm. Neurocomputing 50:105-123, 2003 RPROP+, que se define en A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm.Martin Riedmiller y Heinrich Braun. A direct adaptive method for faster backpropagation learning: The Rprop algorithm. Proceedings of the IEEE International Conference on Neural Networks, 586-591, IEEE Press, 1993 RPROP−, definido en Advanced Supervised Learning in Multi-layer Perceptrons — From Backpropagation to Adaptive Learning Algorithms. Se elimina el retroceso de RPROP+.Martin Riedmiller. Advanced supervised learning in multi-layer perceptrons - From backpropagation to adaptive learning algorithms. Computer Standards and Interfaces 16(5), 265-278, 1994 iRPROP−, definido en Rprop — Description and Implementation DetailsMartin Riedmiller. Rprop — Description and Implementation Details. Technical report, 1994 y reinventado por Igel y Hüsken. Esta variante es muy popular y sencilla. iRPROP+, definida en Improving the Rprop Learning Algorithm, es muy robusta y típicamente más rápida que las otras tres variantes.
Referencias
Enlaces externos Rprop Optimization Toolbox Rprop training for Neural Networks in MATLAB
Categoría:Redes neuronales artificiales Categoría:Algoritmos de aprendizaje automático