A aprendizaxe non supervisada é un conxunto amplo de formulacións da aprendizaxe automática e da estatística nas que se aprende unha descrición, unha representación ou unha estrutura a partir de observacións sen proporcionar, para cada unha delas, unha variable obxectivo externa equivalente á etiqueta da aprendizaxe supervisada. Dado un conxunto , con , os métodos non supervisados poden procurar unha partición en grupos, unha distribución de probabilidade , coordenadas de menor dimensión, factores latentes, características reutilizables ou observacións atípicas. Non existe, por tanto, unha única función obxectivo que defina todo o campo.
Na formulación supervisada típica obsérvanse pares e axústase unha regra para predicir . Na non supervisada obsérvanse principalmente os ; a ausencia dun obxectivo imposto non elimina as decisións humanas, pois a representación dos datos, a métrica, as hipóteses do modelo, a regularización e o criterio de avaliación determinan que estrutura pode aparecer. Por iso, «atopar patróns» é unha descrición insuficiente: un patrón pode significar proximidade xeométrica, unha rexión de alta densidade, dependencia estatística, baixa dimensión intrínseca ou capacidade de reconstrución, nocións que non son intercambiables.
O campo reúne tradicións históricas distintas. A análise de compoñentes e a análise factorial xurdiron na estatística multivariante e na psicometría; a estimación de densidade pertence á inferencia estatística; o agrupamento desenvolveuse en taxonomía, clasificación numérica e análise exploratoria; e a aprendizaxe moderna de representacións incorporou redes neurais, obxectivos probabilísticos e sinais autosupervisados. Estas liñas solápanse: un modelo de mestura gaussiana estima unha densidade e tamén induce un agrupamento probabilístico; a análise de compoñentes principais (PCA) é simultaneamente unha proxección, unha aproximación de baixo rango e, baixo outro modelo, un caso límite probabilístico; un autocodificador pode comprimir datos sen definir grupos.
A aprendizaxe non supervisada é valiosa para a análise exploratoria, o resumo e a modelización de coleccións sen anotar, mais a súa avaliación é especialmente difícil: non sempre existe unha resposta de referencia, distintos obxectivos poden ser incompatibles e unha estrutura matematicamente estable pode carecer de interese científico. A interpretación require contrastar as hipóteses do método, a estabilidade fronte á mostra e aos hiperparámetros e, cando sexa posible, a utilidade nunha tarefa independente.
miniatura|dereita|480px|alt=Seis elipses parcialmente superpostas representan agrupamento, redución dimensional, densidade, variables latentes, representacións e anomalías.|Taxonomía conceptual non exclusiva da aprendizaxe non supervisada. As superposicións indican que un mesmo modelo pode cumprir varias funcións. Exemplo esquemático de elaboración propia.
Formulación e alcance
Sexa unha mostra, normalmente suposta independente e identicamente distribuída só cando o modelo o require. Cada observación pode ser un vector real, unha secuencia, un grafo, unha imaxe ou outro obxecto. En aprendizaxe supervisada disponse ademais dunha resposta e adoita minimizarse unha perda predictiva, como . En aprendizaxe non supervisada non se entrega necesariamente ese ; con todo, si se especifican un modelo e un criterio, por exemplo:
unha partición que reduza a dispersión dentro dos grupos; unha densidade que maximice a verosimilitude dos datos; unha transformación que conserve certa xeometría; variables non observadas que expliquen dependencias entre variables; unha puntuación que ordene observacións segundo o seu grao de anomalía.
Estas formulacións non se reducen sen perda a unha soa. Maximizar a verosimilitude non equivale a conservar veciñanzas, e minimizar erro de reconstrución non garante que as coordenadas sexan semanticamente interpretables. Mesmo nunha tarefa concreta, a solución depende de invariancias e restricións: permutar os nomes dos grupos non cambia unha partición, rotar certos factores pode deixar invariante a distribución e unha visualización bidimensional sacrifica inevitablemente parte da xeometría.
Taxonomía de tarefas
Non existe unha taxonomía universal. Unha organización útil, mais non disxunta, distingue:
Agrupamento constrúe grupos discretos ou pertenzas graduais a partir dunha noción de semellanza, conectividade, densidade ou compoñentes probabilísticos. Redución de dimensionalidade substitúe variables por coordenadas procurando conservar varianza, distancias, veciñanzas ou capacidade de reconstrución. Non é sinónimo de selección de características: esta conserva un subconxunto das variables orixinais, mentres a extracción pode crear combinacións novas. Estimación de densidade aproxima a distribución , parametricamente ou non, e permite calcular verosimilitudes, xerar mostras ou localizar rexións raras. Modelos de variables latentes introducen cantidades non observadas para representar fontes, factores, clases de mestura ou estados subxacentes. Aprendizaxe de representacións aprende unha transformación que faga accesibles factores útiles para reconstrución, xeración ou tarefas posteriores; pode ser non supervisada, supervisada ou autosupervisada. Detección de anomalías estima que observacións se afastan dun concepto de normalidade global, local, condicional ou contextual.
+ Métodos representativos e hipóteses dominantes Método Tarefa habitual Tipo Obxectivo aproximado Hipóteses e cautelas -means agrupamento partición dura minimizar suma de cadrados intragrupo distancia euclidiana, centroides e grupos compactos; sensible a escala e atípicos Agrupamento xerárquico agrupamento/exploración aglomerativo ou divisivo construír unha xerarquía segundo un linkage o dendrograma depende da disimilaridade e do criterio de ligazón DBSCAN agrupamento/anomalías baseado en densidade conectar rexións densamente alcanzables unha escala común funciona mal con densidades moi variables Mestura gaussiana densidade e agrupamento probabilístico latente maximizar verosimilitude dunha mestura forma elipsoidal por compoñente; singularidades e número de compoñentes PCA redución dimensional lineal maximizar varianza ou minimizar erro cuadrático de proxección datos centrados; varianza non equivale necesariamente a relevancia Análise factorial variables latentes lineal probabilística explicar covarianza común máis ruído específico identificabilidade ata rotación baixo formulacións habituais ICA separación de fontes lineal latente obter compoñentes estatisticamente independentes fontes non gaussianas e mestura lineal, salvo como máximo unha fonte gaussiana NMF representación/redución factorización non negativa aproximar datos e factores non negativos; solución non única t-SNE visualización non lineal, non paramétrica na forma orixinal igualar similitudes locais mediante diverxencia KL xeometría global, tamaños e ocos no mapa poden enganar UMAP visualización/redución grafo de veciñanza aproximar unha representación borrosa das veciñanzas depende de métrica, número de veciños e distancia mínima Autocodificador representación/redución rede paramétrica minimizar reconstrución con restricións sen colo de botella ou regularización pode aprender unha identidade pouco útil
Representación, distancia e preprocesamento
Disimilaridades e semellanzas
Nun espazo vectorial real, a distancia euclidiana entre e é
e a distancia Manhattan é . A primeira é coherente co obxectivo cuadrático de -means e coa xeometría esférica; a segunda muda a influencia das diferenzas grandes. A semellanza coseno
compara direccións e pode ser útil cando a magnitude total non debe dominar, como en representacións dispersas de texto. Non é unha distancia métrica sen unha transformación axeitada, e ignora a escala radial. Para variables binarias poden empregarse coeficientes que distinguen presenzas conxuntas de ausencias conxuntas; para secuencias, grafos ou distribucións son necesarias disimilaridades propias do dominio.
Unha métrica incorpora unha declaración científica: dous pacientes poden ser próximos por síntomas, por marcadores moleculares ou por resposta a un tratamento, e cada elección induce grupos diferentes. Aprender unha métrica con etiquetas ou restricións laterais xa introduce supervisión. Non existe unha disimilaridade universalmente correcta, e os algoritmos que só reciben unha matriz de distancias non poden recuperar información descartada ao construíla.
Xeometría inducida e datos estruturados
A distancia euclidiana é invariante ante rotacións e asigna unha penalización cuadrática ás diferenzas. A distancia Manhattan induce outra xeometría e pode ser menos dominada por unha coordenada extrema; a distancia máxima atende só á maior diferenza. Todas dependen das unidades e da ponderación das variables. A familia non debe confundirse coa dimensión do espazo.
Se as variables teñen covarianza , a distancia de Mahalanobis
reduce diferenzas en direccións de grande variabilidade e aumenta as de pequena variabilidade. É euclidiana despois dun branqueamento. A covarianza verdadeira raramente se coñece: estimala en alta dimensión pode ser inestable ou imposible cando hai máis variables ca observacións, e valores atípicos contaminan a estimación. Regularización e estimadores robustos cambian a xeometría; non son detalles puramente numéricos.
A similitude do coseno é . Para vectores normalizados, a distancia euclidiana cadrada é , mais sen normalización ambas medidas ordenan pares de maneira distinta. O coseno ignora a magnitude e adoita empregarse en contaxes ou representacións de documentos; esta invariancia é útil se a lonxitude só reflicte tamaño do documento, pero destrúe información se a magnitude é substantiva. Ceros, valores negativos e centrado requiren unha convención explícita.
Para datos binarios, o índice de Jaccard compara a intersección coa unión de atributos presentes e non conta ausencias conxuntas como semellanza. Isto é apropiado cando unha ausencia simultánea é pouco informativa, como en listas de eventos raros; a distancia de Hamming, pola contra, conta todas as discrepancias. En variables categóricas, a simple coincidencia pode ponderar por igual categorías moi frecuentes e raras. En datos mixtos, o coeficiente de Gower calcula contribucións por variable e permite marcar valores ausentes, mais os pesos finais seguen expresando unha decisión substantiva.
Secuencias, curvas, distribucións e grafos non posúen necesariamente coordenadas comparables. Distancias de edición penalizan insercións, eliminacións e substitucións; aliñamentos temporais permiten deformacións da escala do tempo; distancias entre distribucións poden comparar densidades ou transportes de masa. Unha disimilaridade pode ser simétrica e non negativa sen cumprir desigualdade triangular. Algoritmos como -means necesitan unha estrutura vectorial e unha media, mentres medoides ou determinados métodos xerárquicos só requiren disimilaridades. Substituír unha distancia noutro algoritmo sen comprobar as súas propiedades pode invalidar a función obxectivo ou a interpretación.
Os núcleos positivos representan produtos internos nun espazo de características, explícito ou implícito. Permiten adaptar PCA, métodos espectrais ou máquinas de vectores soporte a relacións non lineais, pero a elección do núcleo e dos seus parámetros determina a noción de suavidade. Unha matriz de afinidade construída con achégase a unha matriz identidade cando é moi pequeno e a unha matriz case constante cando é moi grande. En grafos de veciños, , o radio e a simetrización deciden conectividade e poden crear ou eliminar pontes.