Análisis Discriminante Lineal (ADL, o LDA por sus siglas en inglés) es una generalización del discriminante lineal de Fisher, un método utilizado en estadística, reconocimiento de patrones y aprendizaje automático para encontrar una combinación lineal de rasgos que caracterizan o separan dos o más clases de objetos o eventos. La combinación resultante puede ser utilizada como un clasificador lineal, o, más comúnmente, para la reducción de dimensiones antes de la posterior clasificación.
LDA está estrechamente relacionado con el análisis de varianza (ANOVA) y el análisis de regresión, el cual también intenta expresar una variable dependiente como la combinación lineal de otras características o medidas.Fisher, R. A. (1936). McLachlan, G. J. (2004). Sin embargo, ANOVA usa variables independientes categóricas y una variable dependiente continua, mientras que el análisis discriminante tiene variables independientes continuas y una variable dependiente categórica (o sea, la etiqueta de clase). La regresión logística y la regresión probit son más parecidas a ADL que ANOVA, pues también explican una variable categórica por los valores de variables independientes continuas. Estos otros métodos son preferibles en aplicaciones donde no es razonable asumir que las variables independientes están normalmente distribuidas, lo cual es una suposición fundamental del método ADL.
ADL está también estrechamente relacionado con el análisis de componente principal (ACP) y el análisis factorial en que ambos buscan combinaciones lineales de variables que explican mejor los datos.Martinez, A. M.; Kak, A. C. (2001). ADL explícitamente intenta modelar la diferencia entre las clases de datos. ACP por otro lado no toma en cuenta cualquier diferencia entre las clases, y el análisis factorial construye las combinaciones de características basadas en las diferencias en vez de las semejanzas. El análisis discriminante es también diferente del análisis factorial en que no es una técnica de independencia: una distinción entre las variables independientes y las variables dependientes (también llamadas variables de criterio) debe estar hecha.
ADL funciona cuando las medidas hechas sobre las variables independientes para cada observación son valores continuos. Al ocuparse de variables independientes categóricas, la técnica equivalente es el análisis discriminante de correspondencia.Abdi, H. (2007) "Discriminant correspondence analysis." Perriere, G.; & Thioulouse, J. (2003).
ADL para dos clases Considere un conjunto de observaciones (también llamadas características, atributos, variables o medidas) para cada muestra de un objeto o evento con clase conocida y. Este conjunto de muestras es conocido como conjunto de formación. El problema de clasificación consiste en encontrar a un buen estimador para la clase y de cualquier ejemplo con la misma distribución (no necesariamente del conjunto de formación) dada solamente una observación .Venables, W. N.; Ripley, B. D. (2002). :338
ADL enfrenta el problema asumiendo que las funciones de densidad de las probabilidades condicionales y siguen una distribución normal con parámetros de media y covarianza , respectivamente. Bajo esta suposición, la solución óptima de Bayes es predecir puntos como en la segunda clase si el registro de las proporciones de probabilidad está debajo de algún umbral T, de tal modo que:
Más allá de cualquier suposición el clasificador resultante es referido como análisis discriminante cuadrático (ADC).
ADL en lugar de eso hace la suposición simplificadora adicional de homocedasticidad (las covarianzas de las clase son idénticas, con ) y que las covarianzas tengan rango completo. En este caso, varios términos se cancelan:
pues es Hermitiano y el anteriormente citado criterio de decisión se convierte en un umbral en el producto dot
para alguna constante de umbral c, donde
Esto quiere decir que el criterio de la entrada , siendo y una clase, es puramente una función de esta combinación lineal de las observaciones conocidas.
Esto es frecuentemente útil para ver esta conclusión en términos geométricos: el criterio de una entrada en una clase y es puramente una función de proyección de puntos en el espacio-multidimensional sobre el vector (así, solo se considera su dirección). En otras palabras, la observación forma parte de y, si la correspondiente está ubicada en un cierto lado de un hiperplano perpendicular a . La localización del plano está definida por el umbral c.
Análisis discriminante canónico para k clases El análisis discriminante canónico (ADC) busca los ejes (k – 1 coordenadas canónicas, donde k es el número de clases) que mejor separan las categorías. Estas funciones lineales no están correlacionadas y definen, en efecto, un espacio óptimo k – 1 a través del conjunto n-dimensional de datos que mejor separa (las proyecciones en ese espacio) los k grupos. Ver ADL multiclase debajo para más detalles.
Discriminante Lineal de Fisher Los términos de discriminante lineal de Fisher y ADL son a menudo usados para expresar la misma idea, aunque el artículo original de Fisher realmente describe un discriminante ligeramente diferente, que no hace algunas de las suposiciones de ADL como una distribución normal de las clases o covarianzas iguales entre las clases.
Suponga que dos clases de observaciones tienen medias y covarianzas . Entonces, la combinación lineal de características , tendrá medias y varianzas para . Fisher definió la separación entre estas dos distribuciones por la proporción de la varianza entre las clases, entre la varianza dentro de las clases:
Esta medida es, en cierto sentido, una medida de la proporción de la señal de ruido para el etiquetado de clases. Puede demostrarse que la separación máxima ocurre cuando
Cuando las suposiciones de ADL son satisfechas, la ecuación citada anteriormente es equivalente a ADL.
Es notable ver que es el vector normal al hiperplano discriminante. Como ejemplo, en problemas bidimensionales, la línea que mejor divide los dos grupos es perpendicular a .
Generalmente, los puntos de datos que serán discriminados son proyectados sobre , entonces el umbral que mejor separa los datos es escogido del análisis de la distribución en una dimensión. No hay regla general para el umbral. Sin embargo, si las proyecciones de puntos de ambas clases exhiben aproximadamente las mismas distribuciones, una buena elección sería el hiperplano entre las proyecciones de las dos medias y . En este caso el parámetro c en condición del umbral , puede ser encontrado explícitamente: . El método Otsu está relacionado con el discriminante lineal de Fisher, y se creó para binarizar el histograma de píxeles de una imagen en escala de grises, escogiendo óptimamente el umbral negro/blanco que minimiza la varianza dentro de las clases y maximiza la varianza entre las clases, de la escala de grises asignada a las clases de píxeles blanco y negro.
ADL Multiclase En el caso donde existen más de dos clases, el análisis utilizado se deriva del discriminante de Fisher, que puede ser extendido para encontrar un subspacio que parezca contener toda la variabilidad de la clase. Esta generalización es debido a C. R. Rao.Rao, R. C. (1948). Suponga que cada una de las clases C tiene una media y la misma covarianza . Entonces, la dispersión entre la variabilidad de las clases puede ser definida por la covarianza de las medias de las clases
donde es la media de las medias de las clases. La separación de clases en una dirección será dada en este caso por
Esto significa que cuando es un vector propio de , la separación será igual a su correspondiente valor propio.
Si es diagonalizable, la variabilidad entre las características estará contenida en el subespacio abarcado por los vectores propios correspondientes a los C – 1 valores propios más grandes (si está en el rango de C – 1 a lo sumo). Estos vectores propios son primordialmente usados en la reducción de características, como en ACP. Los vectores propios correspondientes a los valores propios más pequeños tienden a ser muy sensibles a la elección exacta de los datos de formación, y es usualmente necesario usar regularización como se describe en la siguiente sección.
Si la clasificación es requerida, en lugar de reducir la dimensión, hay un número de técnicas alternativas disponibles. Por ejemplo, las clases pueden estar particionadas, y el discriminante estándar de Fisher o ADL pueden ser usados para clasificar cada partición. Un ejemplo común de esto es "uno contra el resto" donde los puntos de una clase son agrupados, y todos lo demás puestos en otro grupo, y luego se aplica el ADL. Esto dará como resultado C clasificadores, cuyos resultados se combinan. Otro método común es la clasificación por parejas, donde un nuevo clasificador es creado para cada par de clases (dando C(C − 1)/2 clasificadores en total), con los clasificadores individuales combinados para producir una clasificación final.
ADL Incremental La implementación típica de la técnica ADL requiere que todos los ejemplos estén disponibles por adelantado. Sin embargo, hay situaciones donde el conjunto de datos no está disponible en su totalidad y los datos de entrada son observados como un flujo. En este caso, es conveniente para la extracción de características por ADL, tener la habilidad de actualizar las características computadas por ADL, observando nuevos ejemplos sin correr el algoritmo sobre la totalidad del conjunto de datos. Por ejemplo, en muchas aplicaciones en tiempo real como la robótica móvil o el reconocimiento de caras en línea, es importante actualizar las características extraídas por ADL tan pronto como las observaciones nuevas estén disponibles. Una técnica de extracción que puede actualizar las características de ADL es simplemente observando los nuevos ejemplos. Este es un algoritmo ADL incremental, y su idea ha sido extensamente estudiada en las dos últimas décadas.Aliyari Ghassabeh, Youness; Rudzicz, Frank; Moghaddam, Hamid Abrishami (2015-06-01). Catterjee y Roychowdhury propusieron un algoritmo ADL incremental que se organiza por sí solo para actualizar las características ADL.Chatterjee, C.; Roychowdhury, V.P. (1997-05-01). En otro trabajo, Demir y Ozmehmet propusieron algoritmos de aprendizaje locales en línea, para actualizar características ADL incrementalmente utilizando la corrección de errores y las reglas de aprendizaje de Hebbian.Demir, G. K.; Ozmehmet, K. (2005-03-01). Posteriormente Aliyari derivó algoritmos incrementales rápidos para actualizar las características ADL observando los nuevos ejemplos.Aliyari Ghassabeh, Youness; Rudzicz, Frank; Moghaddam, Hamid Abrishami (2015-06-01).
Uso práctico En la práctica, las medias de las clases y las covarianzas no son conocidas. Estas, sin embargo, pueden ser estimadas por medio del conjunto de formación. Ya sea la estimación de la máxima verosimilitud, o la estimación máxima a posteriori, pueden ser usadas en lugar del valor exacto en las anteriormente citadas ecuaciones. Aunque las estimaciones de la covarianza pueden ser consideradas óptimas en ciertos casos, esto no quiere decir que el discriminante resultante obtenido de sustituir estos valores es óptimo en cualquier caso, aun si la suposición de clases normalmente distribuidas es correcta.