En estadística, la regresión ordinal (también llamada "clasificación ordinal") es un tipo de análisis de regresión que se utiliza para predecir una variable ordinal, es decir, una variable cuyo valor existe en una escala arbitraria donde solo el orden relativo entre diferentes valores es significativo. Puede considerarse un problema intermedio entre regresión y clasificación. Ejemplos de regresión ordinal son logit ordenado y probit ordenado. La regresión ordinal aparece a menudo en las ciencias sociales, por ejemplo, en la modelización de los niveles de preferencia humanos (en una escala de, digamos, 1–5 para "muy deficiente" a "excelente"), así como en la recuperación de información. En el aprendizaje automático, la regresión ordinal también se puede llamar aprendizaje de clasificación.

Modelos lineales para regresión ordinal La regresión ordinal se puede realizar utilizando un modelo lineal generalizado (GLM) que se ajusta tanto a un vector de coeficientes como a un conjunto de umbrales a un conjunto de datos. Supongamos que uno tiene un conjunto de observaciones, representada por vectores de longitud p a través de , con respuestas asociadas y 1 a través de yn, donde cada Yi es una variable ordinal en una escala 1, ..., K . Por simplicidad, y sin pérdida de generalidad, asumimos que y es un vector no decreciente, es decir, . A estos datos, se ajusta un vector de coeficiente de longitud p w y un conjunto de umbrales con la propiedad de que . Este conjunto de umbrales divide la recta numérica real en K segmentos disjuntos, correspondientes a los K niveles de respuesta.

El modelo ahora se puede formular como

o, la probabilidad acumulada de que la respuesta y sea como máximo i viene dada por una función (la función de enlace inverso) aplicada a una función lineal de x. Existen varias opciones para ; la función logística

da el modelo logit ordenado, mientras que el uso de la función probit da el modelo probit ordenado. Una tercera opción es usar una función exponencial

que da el modelo de riesgos proporcionales.

Modelo de variable latente La versión probit del modelo anterior se puede justificar asumiendo la existencia de una variable latente de valor real (cantidad no observada) , determinada por

donde se distribuye normalmente con media cero y varianza unitaria, condicionada a x. La variable de respuesta y resulta de una "medición incompleta" de , donde uno solo determina el intervalo en el que cae :

Definiendo y , lo anterior se puede resumir como si y solo si .

A partir de estos supuestos, se puede derivar la distribución condicional de como

donde es la función de distribución acumulativa de la distribución normal estándar y asume el papel de la función de enlace inverso σ. La probabilidad logarítmica del modelo para un solo ejemplo de entrenamiento xi, yi ahora puede expresarse como

(usando el corchete de Iverson .) La probabilidad logarítmica del modelo logit ordenado es análoga, usando la función logística en lugar de .

Modelos alternativos En el aprendizaje automático, se han propuesto alternativas a los modelos de regresión ordinal de variables latentes. Un resultado temprano fue PRank, una variante del algoritmo del perceptrón que encontró múltiples hiperplanos paralelos que separaban los distintos rangos; su salida es un vector de peso w y un vector ordenado de K −1 umbrales , como en los modelos ordenados logit/probit. La regla de predicción para este modelo es generar el rango más pequeño k tal que .

Otros métodos se basan en el principio de aprendizaje de gran margen que también subyace a las máquinas de vectores de soporte.

Rennie y Srebro dan otro enfoque, quienes, al darse cuenta de que "incluso evaluar la probabilidad de un predictor no es sencillo" en los modelos logit ordenado y probit ordenados, proponen ajustar modelos de regresión ordinal adaptando funciones de pérdida comunes de la clasificación (como la pérdida de bisagra y la pérdida de registro) al caso ordinal

Software

ORCA (Algoritmos de clasificación y regresión ordinal) es un marco Octave/MATLAB que incluye un amplio conjunto de métodos de regresión ordinal.

Los paquetes R que proporcionan métodos de regresión ordinal incluyen MASS y Ordinal.

Véase también Regresión logística

Referencias

Lecturas adicionales

Categoría:Modelos estadísticos