Los modelos discriminatorios, también conocidos como modelos condicionales, son una clase de modelos que se utilizan frecuentemente para la clasificación . Se suelen utilizar principalmente para resolver problemas de clasificación binaria, , es decir, para asignar etiquetas como aprobado/suspenso, ganador/perdedor, vivo/muerto o sano/enfermo a los datos disponibles.

Entre los modelos discriminativos más comunes se encuentran la regresión logística (LR), los campos aleatorios condicionales (CRF) y los árboles de decisión, entre otros. Los enfoques de modelos generativos que utilizan una distribución de probabilidad conjunta incluyen clasificadores bayesianos ingenuos, modelos de mezcla gaussiana, autocodificadores variacionales, redes generativas antagónicas y otros.

Definición A diferencia del modelado generativo, que estudia la probabilidad conjunta , el modelado discriminativo estudia la o mapea la variable no observada dada (objetivo) a una etiqueta de clase 𝑦 dependiente de las variables observadas (muestras de entrenamiento). Por ejemplo, en el reconocimiento de objetos, es probable que sea un vector de píxeles sin procesar (o características extraídas de los píxeles sin procesar de la imagen). En un marco probabilístico, esto se logra modelando la distribución de probabilidad condicional. , que se puede utilizar para predecir de . Aún existe cierta diferencia entre el modelo condicional y el discriminativo, aunque normalmente ambos se engloban bajo el término de modelo discriminativo.

Modelo discriminativo puro vs. modelo condicional Un modelo condicional modela la distribución de probabilidad condicional, mientras que el modelo discriminativo tradicional busca optimizar el mapeo de la entrada alrededor de las muestras entrenadas más similares. Ballesteros, Miguel. «Discriminative Models» (PDF). Consultado el 28 de octubre de 2018.

Enfoques típicos del modelado discriminativo El siguiente enfoque se basa en el supuesto de que se proporciona el conjunto de datos de entrenamiento. , dónde es la salida correspondiente a la entrada . Memisevic, Roland (21 de diciembre de 2006). «An introduction to structured discriminative learning». Consultado el 29 de octubre de 2018. Clasificador lineal Queremos utilizar la función para simular el comportamiento observado en el conjunto de entrenamiento mediante el método de clasificación lineal . Utilizando el vector de características conjuntas , la función de decisión se define como:

Según la interpretación de Memisevic, , que también es , calcula una puntuación que mide la compatibilidad de la entrada con la salida potencial . Entonces el determina la clase con la puntuación más alta.

Regresión logística (LR) Dado que la función de pérdida 0-1 se utiliza comúnmente en la teoría de decisiones, la distribución de probabilidad condicional , dónde es un vector de parámetros para optimizar los datos de entrenamiento, podría reconsiderarse de la siguiente manera para el modelo de regresión logística:

, with

La ecuación de arriba representa la regresión logística . Observe que una de las principales diferencias entre los modelos es su manera de introducir la probabilidad a posteriori. La probabilidad a posteriori se infiere a partir del modelo paramétrico. Luego, podemos maximizar el parámetro siguiendo la ecuación:

También podría reemplazarse por la ecuación de pérdida logarítmica que aparece a continuación:

Dado que la pérdida logarítmica es diferenciable, se puede utilizar un método basado en gradientes para optimizar el modelo. Se garantiza un óptimo global porque la función objetivo es convexa. El gradiente de logaritmo de verosimilitud se representa mediante:

dónde es la expectativa de .

El método anterior permite un cálculo eficiente cuando el número de clases es relativamente pequeño.

Contraste con el modelo generativo

Contraste en los enfoques Digamos que nos dan las etiquetas de clase (clasificación) y variables de características, , como las muestras de entrenamiento.

Un modelo generativo toma la probabilidad conjunta , dónde es la entrada y es la etiqueta y predice la etiqueta conocida más posible para la variable desconocida utilizando el teorema de Bayes . Ng, Andrew Y.; Jordan, Michael I. (2001). «On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes» (PDF).

A diferencia de los modelos generativos, los modelos discriminativos no permiten generar muestras de la distribución conjunta de las variables observadas y de la variable objetivo. Sin embargo, para tareas como la clasificación y la regresión que no requieren la distribución conjunta, los modelos discriminativos pueden ofrecer un rendimiento superior (en parte porque tienen menos variables que calcular). Por otro lado, los modelos generativos suelen ser más flexibles que los modelos discriminativos a la hora de expresar dependencias en tareas de aprendizaje complejas. Además, la mayoría de los modelos discriminativos son inherentemente supervisados y no pueden admitir fácilmente el aprendizaje no supervisado. En última instancia, son los detalles de la aplicación los que determinan si conviene elegir un modelo discriminativo o uno generativo.

Los modelos discriminativos y generativos también difieren en la introducción de la probabilidad posterior . Ulusoy, Ilkay (mayo de 2016). «Comparison of Generative and Discriminative Techniques for Object Detection and Classification» (PDF). Microsoft. Consultado el 30 de octubre de 2018. Para mantener la pérdida mínima esperada, se debe minimizar la clasificación errónea de los resultados. En el modelo discriminativo, las probabilidades posteriores, Se infiere de un modelo paramétrico, donde los parámetros provienen de los datos de entrenamiento. Los puntos de estimación de los parámetros se obtienen mediante la maximización de la verosimilitud o el cálculo de la distribución sobre los parámetros. Por otro lado, considerando que los modelos generativos se centran en la probabilidad conjunta, la posibilidad posterior de clase... se considera en el teorema de Bayes, que es

.

Ventajas y desventajas en la aplicación En los experimentos repetidos, la regresión logística y el Bayes ingenuo se aplican aquí para diferentes modelos en la tarea de clasificación binaria, el aprendizaje discriminativo da como resultado errores asintóticos más bajos, mientras que el generativo da como resultado errores asintóticos más altos más rápido. Sin embargo, en el trabajo conjunto de Ulusoy y Bishop, Comparison of Generative and Discriminative Techniques for Object Detection and Classification, afirman que la afirmación anterior es verdadera solo cuando el modelo es el apropiado para los datos (es decir, la distribución de datos está correctamente modelada por el modelo generativo).

Ventajas Las ventajas de utilizar modelos discriminativos son:

Mayor precisión, que en la mayoría de los casos conduce a mejores resultados de aprendizaje. Permite simplificar la entrada y proporciona un enfoque directo a Ahorra recursos de cálculo Genera errores asintóticos más bajos

Si lo comparamos con las ventajas de utilizar el modelado generativo:

Tiene en cuenta todos los datos, lo que podría resultar en un procesamiento más lento como desventaja Requiere menos muestras de entrenamiento Marco flexible que podría cooperar fácilmente con otras necesidades de la aplicación.

Desventajas

El entrenamiento suele requerir varias técnicas de optimización numérica. De forma similar, un modelo discriminativo necesita combinar varias subtareas para poder resolver problemas complejos del mundo real.

Optimizaciones en aplicaciones Como ambos enfoques tienen ventajas y desventajas, combinarlos suele ser una estrategia práctica y efectiva. Por ejemplo, en el artículo de Marras «A Joint Discriminative Generative Model for Deformable Model Construction and Classification », él y sus coautores aplican la combinación de dos modelos a la clasificación de rostros de los modelos, obteniendo una mayor precisión que el enfoque tradicional.

De manera similar, Kelm también propuso la combinación de dos modelos para la clasificación de píxeles en su artículo Combining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning .

Durante el proceso de extracción de las características discriminativas antes de la agrupación, el análisis de componentes principales (ACP), aunque se utiliza comúnmente, no es necesariamente un enfoque discriminativo. En cambio, el análisis discriminante lineal (ADL) sí lo es. El análisis discriminante lineal (ADL) ofrece una manera eficiente de eliminar la desventaja mencionada anteriormente. Como sabemos, el modelo discriminativo requiere una combinación de múltiples subtareas antes de la clasificación, y el ADL ofrece una solución adecuada a este problema al reducir la dimensión.

Tipos Algunos ejemplos de modelos discriminativos incluyen:

Regresión logística, un tipo de regresión lineal generalizada utilizada para predecir resultados binarios o categóricos (también conocidos como clasificadores de máxima entropía). Impulso (meta-algoritmo) Campos aleatorios condicionales Regresión lineal Bosques aleatorios

Véase también

Modelo generativo

Referencias

Categoría:Modelos estadísticos