Aprendizaje de clasificaciónTie-Yan Liu (2009), "Learning to Rank for Information Retrieval", Foundations and Trends® in Information Retrieval, Foundations and Trends in Information Retrieval 3 (3): 225–331, doi:10.1561/1500000016, ISBN 978-1-60198-244-5 . o aprendizaje automático de clasificación (MLR, por sus siglas en inglés) es la aplicación de aprendizaje automático, típicamente supervisado, semisupervisado o aprendizaje reforzado en la construcción de modelos de clasificación para sistemas de recuperación de información.Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012) Foundations of Machine Learning, The MIT Press . Los datos de entrenamiento consisten en listas de elementos con algún orden parcial especificado entre elementos en cada lista. Este orden es típicamente inducido por dar una puntuación numérica u ordinal o un juicio binario (p. ej., «relevante» o «no relevante») para cada elemento. El propósito del modelo de clasificación es producir una permutación de elementos en nuevas listas, que no se ven de una manera que sea «similar» a clasificaciones en los datos de entrenamiento en algún sentido.
El aprendizaje de clasificación es relativamente una nueva área de investigación que ha surgido en la última década.
Aplicaciones
En la recuperación de información Clasificar es una parte central de muchos problemas de recuperación de información, como recuperación de documento, filtrado colaborativo, análisis de los sentimientos, y la publicidad en línea.
Una arquitectura posible de un motor de búsqueda del aprendizaje de máquina se muestra en la figura a la derecha.
El entrenamiento de datos consiste en emparejar consultas y documentos, junto con el grado de relevancia de cada emparejamiento. Puede ser preparado manualmente por asesores humanos (o raters, como Google les llama), quienes comprueban resultados para algunas consultas y determinan la relevancia de cada resultado. No es factible de comprobar la relevancia de todos los documentos, y tan típicamente una técnica llamada pooling es utilizada — solo los primeros pocos documentos, recuperados por algunos modelos de clasificación existentes, se comprueban. Por otra parte, los datos de entrenamiento se pueden derivar de forma automática mediante el análisis de los registros de clics (es decir, los resultados de búsqueda que recibieron los clics de los usuarios), cadenas de consulta o características motores de búsqueda tales como SearchWiki de Google.
El entrenamiento de datos es utilizado por un algoritmo de aprendizaje para producir un modelo de clasificación que calcula la relevancia de los documentos para consultas reales.
Por lo general, los usuarios esperan completar una consulta de búsqueda en un corto período de tiempo (por ejemplo, unos pocos cientos de milisegundos para la búsqueda web), lo que hace imposible evaluar un modelo de clasificación complejo en cada documento en el corpus, y por eso se utiliza un esquema de dos fases. En primer lugar, un pequeño número de documentos potencialmente relevantes se identifican utilizando modelos de recuperación más simples que permiten la evaluación de consulta rápida, como el modelo de espacio vectorial, modelo booleano, ponderado Y y BM25. Esta fase se llama recuperación de documentos top-k y muchas heurísticas fueron propuestas en la literatura para acelerarlo, como el uso de la puntuación de calidad estática del documento y en los índices de niveles. En la segunda fase, un modelo de aprendizaje automático más preciso pero costoso computacionalmente se utiliza para volver a clasificar estos documentos.
En otras áreas Algoritmos de aprendizaje de clasificación han sido aplicados en distintas áreas de la recuperación de información: En traducción automática, para clasificar un conjunto de traducciones hipotéticas;Kevin K. Duh (2009), Learning to Rank with Partially-Labeled Data (PDF) En biología computacional, para la clasificación de estructuras candidatos 3-D en el problema de predicción de estructura de proteína. En proteómica, para la identificación de péptidos frecuentes de puntuación superior.Henneges C., Hinselmann G., Jung S., Madlung J., Schütz W., Nordheim A., Zell A. (2009), Ranking Methods for the Prediction of Frequent Top Scoring Peptides from Proteomics Data (PDF) En Sistemas de Recomendación, para identificar una lista de clasificación de artículos noticiosos relacionados para recomendar a un usuario después de que este haya leído un artículo de actualidad.Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang, and Yi Chang, Learning to Model Relatedness for News Recommendation , in International Conference on World Wide Web (WWW), 2011.
Vectores de característica Para comodidad de los algoritmos MLR, pares de consulta-documento son normalmente representados por vectores numéricos, los cuales se apellidan vectores de característica.' Este enfoque se denomina a veces bolsa de características y es análogo a la bolsa de palabras de modelo y de espacio vectorial modelo utilizado en la recuperación de información para la representación de documentos.
Los componentes de tales vectores se apellidan características, factores o señales de clasificación.' Se pueden dividir en tres grupos (características de recuperación de documentos se muestran como ejemplos): Consulta-independiente o características estáticas — aquellas características que dependen sólo del documento, pero no de la consulta. Por ejemplo, el PageRank o la longitud del documento. Tales características pueden ser precalculadas en el modo fuera de línea durante la indexación. Pueden ser utilizados para calcular la puntuación del documento estático de calidad (o rango estático), que a menudo se utiliza para acelerar la evaluación consulta de búsqueda.Manning C., Raghavan P. and Schütze H. (2008), Introduction to Information Retrieval, Cambridge University Press . Richardson, M.; Prakash, A.; Brill, E. (2006). Características de consultas dependientes o dinámicas — esas características, que dependen tanto del contenido del documento como la consulta, como la puntuación de TF-IDF u otras funciones de clasificación no-machine-learned. Características de nivel de la consulta o características de consulta, las cuales dependen sólo de la consulta. Por ejemplo, el número de palabras en una consulta. Información más lejana: característica de nivel de la consulta Algunos ejemplos de características, que fueron utilizados en el conjunto de datos conocido LETOR:LETOR 3.0. TF, TF-IDF, BM25 y Lenguaje de Modelado decenas de zonas del documento (título, cuerpo, ancla de texto, URL) para una consulta determinada; Longitudes y sumas de las IDF de zonas del documento; PageRank de Documento, HITS filas y sus variantes. Seleccionar y diseñar las características buenas es un área importante en aprendizaje de máquina, la cual se apellida ingeniería de característica.
Medidas de evaluación Hay varias medidas (métricas) que se utilizan comúnmente para juzgar qué tan bien un algoritmo está haciendo en los datos de entrenamiento y para comparar el rendimiento de diferentes algoritmos de MLR. A menudo, un problema de aprendizaje de clasificación se reformula como un problema de optimización con respecto a una de estas métricas.
Ejemplos de medidas de clasificación de calidad: Significado de la precisión media (MAP por sus siglas en inglés); DCG y NDCG; Precision@n, NDCG@n, donde "@n" denota que las métricas son evaluadas solamente en los primeros n documentos; Significado de rango recíproco; Tau de Kendall Rho de Spearman DCG y su variante normalizada NDCG son normalmente preferidos en búsqueda académica cuando los niveles múltiples de pertinencia son utilizados.http://www.stanford.edu/class/cs276/handouts/lecture15-learning-ranking.ppt Otros indicadores, como MAP, MRR y precisión, se definen sólo para juicios binarios.
Recientemente, se han propuesto varias métricas de evaluación nuevas que pretenden modelar la satisfacción del usuario con resultados de búsqueda mejor que la métrica DCG: Clasificación recíproca esperada (ERR por sus siglas en inglés);Olivier Chapelle, Donald Metzler, Ya Zhang, Pierre Grinspan (2009), "Expected Reciprocal Rank for Graded Relevance" (PDF), CIKM pfound de Yandex.Gulin A., Karpovich P., Raskovalov D., Segalovich I. (2009), "Yandex at ROMIP'2009: optimization of ranking algorithms by machine learning methods" (PDF), Proceedings of ROMIP'2009: 163–168 (in Russian) Ambos indicadores se basan en la suposición de que es más probable que dejar de mirar a los resultados de búsqueda después de examinar un documento más relevante, que después de un documento menos relevante al usuario.
Aproximaciones Tie-Yan Liu, de Microsoft Research Asia en su ponencia "Aprendizaje de clasificación para la Recuperación de Información" y habla en varias conferencias principales ha analizado los algoritmos existentes para aprender a clasificar los problemas y los clasifican en tres grupos por su representación de entrada y función de pérdida:Tie-Yan Liu (2009), "Learning to Rank for Information Retrieval", Foundations and Trends® in Information Retrieval, Foundations and Trends in Information Retrieval 3 (3): 225–331, doi:10.1561/1500000016, ISBN 978-1-60198-244-5 .
Aproximación Pointwise En este caso está supuesto que cada par consulta- documento en el dato de formación tiene una puntuación numérica u ordinal. Entonces problema de aprendizaje-de-clasificación puede ser aproximado por un problema de regresión — dado un solo par consulta - documento, pronosticar su puntuación.
En este caso se supone que cada par consulta- documento con los datos de entrenamiento tiene una puntuación numérica u ordinal. A continuación, el problema de aprendizaje-de-clasificación puede ser aproximado por un problema de regresión - dado un solo par consulta-documento, predecir su puntuación.
Un número de algoritmos de aprendizaje automático supervisado existentes se puede utilizar fácilmente para este propósito. Algoritmos de regresión y clasificación ordinales se pueden utilizar también en el enfoque puntual cuando se utilizan para predecir la puntuación de un solo par consulta-documento, y se necesita un número pequeño, finito de valores.
Aproximación Pairwise En este caso el problema de aprendizaje-de-clasificación está aproximado por un problema de clasificación — el aprendizaje de un clasificador binario que puede decir que el documento es mejor en un par dado de documentos. El objetivo es minimizar el número medio de inversiones en clasificación.
Aproximación Listwise Estos algoritmos tratan de optimizar directamente el valor de una de las medidas de evaluación anteriores, promediado sobre todas las consultas en los datos de entrenamiento. Esto es difícil porque la mayoría de las medidas de evaluación no son funciones continuas con respecto a la clasificación de los parámetros del modelo, y aproximaciones de manera continua o límites sobre las medidas de evaluación tienen que ser utilizados.
Lista de métodos Debajo se muestra una lista parcial de los algoritmos publicados de aprendizaje de clasificación con los años de la primera publicación de cada método:
{| style="margin-bottom: 10px;" class="wikitable sortable" ! Año ! Nombre ! Tipo ! Notas |- | 1989 | OPRFFuhr, Norbert (1989), "Optimum polynomial retrieval functions based on the probability ranking principle", ACM Transactions on Information Systems 7 (3): 183–204, doi:10.1145/65943.65944 | 2 pointwise |Regresión polinómica (en lugar de aprendizaje automático, este trabajo se refiere al reconocimiento de patrones, pero la idea es la misma) |- | 1992 | SLRCooper, William S.; Gey, Frederic C.; Dabney, Daniel P. (1992), "Probabilistic retrieval based on staged logistic regression", SIGIR '92 Proceedings of the 15th annual international ACM SIGIR conference on Research and development in information retrieval: 198–210, doi:10.1145/133160.133199 | 2 pointwise