La teoría del aprendizaje estadístico, fundamentada en la estadística y el análisis funcional. Es un marco que brinda las bases para muchos de los algoritmos de aprendizaje automático. Desarrollada en un inicio en Rusia durante la década de 1960, ganó popularidad en los años noventa tras la creación de las máquina de vectores de soporte, de modo que se consolidó como el marco estándar para el estudio del reconocimiento de patrones.
Desarrollo durante el La historia del de la investigación sobre el problema del aprendizaje en el pueden dividirse en tres períodos, caracterizados por tres acontecimientos destacados:
La construcción de las primeras máquinas de aprendizaje El desarrollo de los fundamentos teóricos El desarrollo de las redes neuronales
Desarrollo de las primeras máquinas de aprendizaje En 1958 Frank Rosenblatt propuso el primer modelo de máquina de aprendizaje, llamado perceptrón. Inspirado en modelos neurofisiológicos de McCulloch y Pitts, el perceptrón fue diseñado para resolver problemas de reconocimiento de patrones. En su forma más simple, este problema consiste en construir una regla capaz de separar los datos de dos categorías distintas utilizando ejemplos previamente proporcionados. miniaturadeimagen|Perceptrón de una sola capa En 1962, Novikoff demostró el primer teorema sobre el perceptrón el cual establece que, bajo ciertas condiciones, los modelos de una capa basados en el perceptrón puede construir un hiperplano que separe los datos para su clasificación. Este teorema marcó el inicio de la teoría del aprendizaje.
Aunque el perceptrón tuvo una gran recepción inicial, en 1969 Marvin Minsky y Seymour Papert publicaron un famoso libro en el que demostraban que los modelos de una sola capa basados en el perceptrón no pueden resolver ciertos problemas de clasificación, como el de la compuerta XOR.
Esta etapa se caracterizó por el desarrollo de técnicas para la aplicación a problemas, en este sentido Vapnik señala que la filosofía del análisis aplicado del proceso de aprendizaje se basaba en que:Para obtener una buena generalización, basta con elegir los coeficientes de la neurona que proporcionen el número mínimo de errores en el entrenamiento. El principio de minimizar el número de errores de entrenamiento es un principio inductivo evidente por sí mismo y, desde un punto de vista práctico, no requiere justificación adicional. El objetivo principal del Análisis Aplicado es encontrar métodos para construir simultáneamente los coeficientes de todas las neuronas de modo que la superficie de separación produzca el mínimo número de errores en los datos de entrenamiento.
Desarrollo de los fundamentos teóricos A diferencia del análisis aplicado, en el que desde la creación del perceptrón hasta la implementación de la retropropagación en 1986. no hubo grandes avances. Sin embargo, durante ese mismo período el desarrollo de la teoría del aprendizaje estadístico fue sumamente fructífero. En contraste con el enfoque aplicado, Vapnik sostiene que la filosofía del análisis teórico de los procesos de aprendizaje se fundamenta en la búsqueda de principios inductivos no trivial, que garanticen la mayor capacidad de generalización posible:El principio de minimizar el número de errores de entrenamiento no es evidente por sí mismo y requiere justificación. Es posible que exista otro principio inductivo que proporcione un mayor nivel de capacidad de generalización. El objetivo principal del Análisis Teórico de los procesos de aprendizaje es encontrar el principio inductivo con el nivel más alto de capacidad de generalización y construir algoritmos que materialicen dicho principio inductivo.A inicios de 1968, Vapnik y Chervonenkis introdujeron los conceptos centrales de la teoría del aprendizaje estadístico: la entropía VC y la dimensión VC Con estos conceptos, se describieron los procesos de aprendizaje en el conjunto de funciones características y se obtuvieron los principales criterios para lgarantizar convergencia de los algoritmos. Entre 1976 y 1981, dichos resultados —inicialmente obtenidos para el conjunto de funciones indicadoras— fueron generalizados al conjunto de funciones reales..
Finalmente, en 1989 se encontraron las condiciones necesarias y suficientes para la consistencia del principio inductivo de minimización del riesgo empírico y del método de máxima verosimilitud, completando así el análisis de inferencia inductiva basada en la minimización del riesgo empírico.
El desarrollo de las redes neuronales miniaturadeimagen|Modelo multi-capa basado en el perceptrón Por los resultados de Marvin Minsky y Seymour Papert, se sabía que los modelos de una sola capa basados en el perceptrón eran muy limitados. La extensión natural de esta idea fue aumentar el número de capas. Sin embargo, debido a las propiedades lineales del perceptrón, un modelo multicapa construido únicamente a partir de perceptrones simples resulta equivalente a un modelo de una sola capa. Esto implica que añadir más capas no incrementa la capacidad de aprendizaje. Para superar esta limitación, fue necesario incorporar funciones de activación no lineales en el perceptrón.
En 1986, de manera independiente un método para construir perceptrones multi-capa con efectos no lineales. Mediante el denominado método de retropropagación (o Back-Propagation en inglés) combinado con el método de descenso del gradiente, es posible entrenar redes multi-capa. Este avance dio origen a lo que hoy se conoce como aprendizaje profundo (o deep learnig).
Introducción Los objetivos del aprendizaje son la comprensión y la predicción. El aprendizaje se divide en muchas categorías: aprendizaje supervisado, aprendizaje no supervisado, aprendizaje en línea y aprendizaje por refuerzo. Desde el punto de vista de la teoría del aprendizaje estadístico, el aprendizaje supervisado es el que mejor se entiende. Cada punto del entrenamiento es un par de entrada-salida, en el que la entrada se asigna a una salida. El problema de aprendizaje consiste en inferir la función que relaciona la entrada y la salida, de forma que la función aprendida pueda utilizarse para predecir la salida a partir de entradas futuras.
Dependiendo del tipo de salida, los problemas de aprendizaje supervisado son problemas de regresión o problemas de clasificación. Si la salida toma un rango continuo de valores, se trata de un problema de regresión. Utilizando la ley de Ohm como ejemplo, se podría realizar una regresión con el voltaje como entrada y la corriente como salida. La regresión encontraría que la relación funcional entre el voltaje y la corriente es . de forma que:
Los problemas de clasificación son aquellos para los que la salida será un elemento de un conjunto discreto de etiquetas. La clasificación es muy común en las aplicaciones de aprendizaje automático. En el reconocimiento facial, por ejemplo, una imagen de la cara de una persona sería la entrada, y la etiqueta de salida sería el nombre de esa persona. La entrada estaría representada por un gran vector multidimensional cuyos elementos representan píxeles de la imagen.
Después de aprender una función basada en los datos del conjunto de entrenamiento, esa función se valida en un conjunto de datos de prueba, datos que no aparecían en el conjunto de entrenamiento.
Descripción formal Un problema de aprendizaje consiste en aproximar una función desconocida que relaciona entradas y salidas a partir de ejemplos observados. Sea la entrada, y sea la función objetivo desconocida, donde es el conjunto de todas las posibles entradas y es el conjunto de todas las posibles salidas. Además, tanto como son espacios medibles.
El proceso de generación de los datos puede describirse mediante tres componentes fundamentales:
Generador : produce vectores aleatorio extraídos de manera independiente de una distribución de probabilidad fija pero desconocida Supervisor : asigna un valor de salida a cada entrada , de acuerdo con una distribución condicional . Este es el caso general, que incluye como situación particular el caso determinista . Máquina de aprendizaje : implementa un conjunto de funciones donde es un conjunto de parámetros (que pueden ser vectores o entidades más abstractas). Este conjunto de funciones constituye el conjunto de hipótesis .
El conjunto de datos de entrenamiento está formado por observaciones independientes e idénticamente distribuidas i.i.d. generadas según la distribución conjunta de modo que se tiene el conjunto , donde cada par se denomina punto de datos y representa un ejemplo entrada–salida.
El objetivo del aprendizaje consiste en seleccionar, dentro del conjunto de hipótesis , la función que mejor aproxime la respuesta del supervisor, es decir a la función objetivo desconocida . Para evaluar la calidad de una hipótesis, se define una función de pérdida que mide la discrepancia entre la salida verdadera y la salida predicha por el modelo.
El rendimiento esperado del modelo se cuantifica mediante el funcional de riesgo:
que representa el valor esperado de la pérdida sobre la distribución de datos.
Dado que la distribución es desconocida, la máquina de aprendizaje debe estimar, a partir del conjunto de entrenamiento , el parámetro y por tanto la función que minimice el riesgo esperado.
Principio inductivo de Minimización del Riesgo Empírico (ERM) Sea una medida de probabilidad definida en el espacio medible . Consideremos el conjunto de funciones , con . El objetivo es minimizar el funcional de riesgo
donde la medida de probabilidad es desconocida, pero se dispone de una muestra i.i.d. donde y es la función de pérdida específica. Para minimizar el funcional de riesgo con una función de distribución desconocida , puede aplicarse el siguiente principio inductivo:
El funcional de riesgo se reemplaza por el llamado funcional de riesgo empírico
Se aproxima la función , que minimiza el riesgo , mediante la función que minimiza el riesgo empírico .
Este principio se denomina principio inductivo de Minimización del Riesgo Empírico o ERM por sus siglas en inglés (Empirical Risk Minimization).
Decimos que un principio inductivo define un proceso de aprendizaje si, para un conjunto dado de observaciones, la máquina de aprendizaje elige la aproximación utilizando dicho principio inductivo. En la teoría del aprendizaje, el principio ERM desempeña un papel fundamental. El principio ERM es bastante general. Los métodos clásicos para resolver problemas específicos de aprendizaje, como el método de mínimos cuadrados en el problema de estimación de regresión o el método de máxima verosimilitud en el problema de estimación de densidad, son realizaciones del principio ERM para las funciones de pérdida respectivas.
Problemas principales Como se mencionó, la elección de la función de pérdida es un factor determinante de la función que elegirá el algoritmo de aprendizaje. La función de pérdida también afecta a la tasa de convergencia de un algoritmo, por lo que es importante que la función de pérdida sea convexa.
Se utilizan diferentes funciones de pérdida según se trate de un problema de clasificación, regresión o estimación de densidad.
Regresión Sea la respuesta del supervisor (un valor real), y sea , con , un conjunto de funciones reales que contiene la función de regresión
La función de regresión más común para la regresión es la función de pérdida cuadrada (también conocida como norma L2) que minimiza el funcional de riesgo. Esta conocida función de pérdida se utiliza en la regresión por mínimos cuadrados ordinarios. La forma da la función de pérdida es:
A veces también se utiliza la pérdida de valor absoluto (también conocida como norma L1):
Y en general, para cualquier se puede definir una función de perdida (con la norma Lp):
Clasificación