A aprendizaxe autosupervisada (en inglés, self-supervised learning) é unha familia de métodos de aprendizaxe automática nos que o sinal empregado para adestrar un modelo se obtén automaticamente da estrutura dos propios datos, sen requirir que unha persoa proporcione unha etiqueta semántica para cada exemplo da tarefa de preadestramento. Un fragmento de texto pode ocultarse e predicirse a partir do contexto; dúas transformacións dunha mesma imaxe poden tratarse como vistas relacionadas; e o futuro dunha secuencia pode predicirse a partir do pasado. Nestes casos, tanto a entrada como o obxectivo proceden do dato orixinal.
O termo designa o modo de construír o sinal de aprendizaxe, non unha arquitectura nin unha única función obxectivo. Abrangue modelado autorregresivo, predición de partes enmascaradas, reconstrución, contraste entre vistas, destilación entre redes e predición no espazo latente. As familias solápanse: un método pode enmascarar audio e resolver ao mesmo tempo unha tarefa contrastiva; outro pode empregar unha rede mestra actualizada por media móbil e unha perda de predición. A maior parte da investigación contemporánea procura aprender unha representación, é dicir, unha transformación que converte unha entrada complexa nun conxunto de características reutilizable noutras tarefas.
A autosupervisión mantén unha relación histórica coa aprendizaxe non supervisada, mais os termos non son intercambiables. A non supervisada clásica inclúe agrupamento, estimación de densidade, redución dimensional e modelos de variables latentes, tarefas que non teñen por que formular unha predición cun obxectivo derivado. Na autosupervisión si se constrúe normalmente un problema de aprendizaxe a partir dos datos e emprégase a súa perda como supervisión. Segundo o autor e a época, a autosupervisión descríbese como un subconxunto da aprendizaxe non supervisada ou como un paradigma diferenciado; a ausencia de etiquetas humanas para o preadestramento é compatible con que a optimización interna se pareza formalmente á aprendizaxe supervisada.
O atractivo práctico reside en aproveitar grandes coleccións cuxa anotación individual sería custosa. Un modelo preadestrado pode empregarse como extractor de características, adaptarse con poucas etiquetas ou axustarse completamente para unha tarefa posterior. Isto non elimina o custo nin a intervención humana: hai que recoller, seleccionar e procesar os datos; escoller a arquitectura, as transformacións e o obxectivo; e avaliar se a representación conserva a información pertinente. Os nesgos do corpus, os atallos estatísticos, o colapso das representacións, o custo computacional e a dependencia da tarefa posterior limitan o que se pode inferir da mera redución da perda autosupervisada. Definición e alcance miniatura|520x520px|Na aprendizaxe supervisada, unha etiqueta externa acompaña cada entrada; na autosupervisada, unha transformación do propio dato constrúe a entrada e o obxectivo de preadestramento. O esquema non implica que todos os métodos autosupervisados produzan pares literais. Elaboración propia.
Sinal derivado dos datos Na formulación supervisada habitual disponse dun conxunto
onde é unha entrada e unha resposta designada, como a categoría asignada por unha persoa. O modelo axusta os parámetros para reducir unha perda . Na autosupervisión pártese de observacións e aplícase un procedemento que oculta, separa, transforma ou relaciona partes delas. Conceptualmente pode escribirse
onde é a entrada modificada e o obxectivo derivado. Nunha oración, pode ser o texto cunha palabra tapada e esa palabra; nun vídeo, a entrada pode ser un fotograma pasado e o obxectivo unha propiedade dun fotograma futuro. Esta notación é unha simplificación: os métodos de encaixe conxunto poden comparar dúas ramas sen producir unha etiqueta discreta, e unha rede mestra pode xerar unha distribución obxectivo que cambia durante o adestramento.
O obxectivo derivado non é necesariamente a finalidade de uso. Predicir a rotación dunha imaxe ou a posición relativa de dous recortes pode ser unha tarefa pretexto: unha tarefa construída porque a súa resolución obriga o codificador a representar regularidades que se esperan útiles despois. A hipótese debe comprobarse mediante transferencia; un modelo pode resolver a tarefa pretexto explotando un bordo, unha marca de compresión ou outra correlación accidental sen adquirir a propiedade buscada.
O preadestramento é a fase na que se aprende con ese sinal xeral antes de abordar unha aplicación concreta. O modelo resultante pode transferirse: o codificador (a función que converte a entrada nunha representación) consérvase e engádese unha cabeza para a nova tarefa. No axuste fino actualízanse os parámetros do codificador coa nova perda; na extracción de características mantéñense fixos. Esta secuencia preadestramento–adaptación é frecuente, pero non define toda autosupervisión: tamén pode haber obxectivos autosupervisados auxiliares durante o adestramento doutra tarefa.
Fronteiras con outros paradigmas
Aprendizaxe supervisada Recibe obxectivos externos correspondentes á tarefa que se pretende resolver. Na autosupervisión, o sinal de preadestramento prodúcese mediante unha regra aplicada aos datos. Un corpus textual foi creado por persoas e unha lenda dunha imaxe tamén contén información humana; «automático» refírese á xeración dos exemplos de adestramento, non á ausencia de influencia social nos datos. Aprendizaxe non supervisada Procura estrutura sen unha resposta designada. Un algoritmo de agrupamento que minimiza dispersión non se volve autosupervisado por non usar etiquetas; un modelo de linguaxe que predí o seguinte elemento si constrúe obxectivos coñecidos a partir da secuencia. Na bibliografía histórica, porén, numerosos traballos de autosupervisión foron denominados «non supervisados». Aprendizaxe semisupervisada Combina exemplos con etiquetas externas e exemplos sen elas para unha tarefa. Pode utilizar un codificador preadestrado autosupervisadamente e logo empregar ambas clases de datos, polo que as categorías poden coexistir nun sistema. Pseudoetiquetado Un modelo asigna etiquetas estimadas a exemplos sen anotar e outro adestramento trátaas como obxectivos. A súa fonte inmediata é a predición do modelo e adoita estar ligada ás clases dunha tarefa; nun sinal autosupervisado típico, a relación obxectivo procede da estrutura observada ou dunha transformación definida, aínda que métodos de agrupamento e destilación fan a fronteira menos nítida. Aprendizaxe de representacións É o campo máis amplo que estuda transformacións dos datos en características útiles. Pode ser supervisada, non supervisada, autosupervisada ou combinar sinais. A autosupervisión é un modo de aprender representacións, non un sinónimo delas. Aprendizaxe por transferencia Describe a reutilización de coñecemento entre tarefas ou dominios. Un modelo autosupervisado pode transferirse, pero tamén se transfire un modelo supervisado, e unha tarefa autosupervisada pode adestrarse sen transferencia posterior.
Representación, codificador e información útil Unha representación pode ser un vector, unha secuencia de vectores ou un mapa espacial. O codificador non se limita a comprimir: escolle, mediante a arquitectura e a perda, que variacións facer accesibles. Se unha clase posterior se separa cun hiperplano en , un clasificador lineal pode aprendela con poucos parámetros; outras tarefas poden necesitar detalles descartados. Por iso a «calidade» dunha representación non é unha magnitude universal, senón unha relación entre datos, obxectivo, familia de tarefas e protocolo de avaliación.
Unha propiedade buscada é a invarianza: para unha transformación considerada irrelevante, deséxase . Se un lixeiro cambio de iluminación non muda o obxecto visual, achegar ambas representacións pode ser razoable. A equivarianza conserva, pola contra, a estrutura do cambio: para unha transformación existe unha acción tal que . A localización dun obxecto debe moverse de maneira coherente se se traslada a imaxe. Facelo invariante a toda transformación borraría información necesaria; a representación axeitada depende da tarefa.
Unha taxonomía non exclusiva centro|miniatura|800x800px|Familias conceptuais de obxectivos autosupervisados. As áreas solapadas indican que un método pode combinar varios sinais; non constitúen unha partición matemática única. Elaboración propia. +Familias de obxectivos autosupervisadosFamiliaSinal construídoExemplo de obxectivoInformación favorecida e cautelasReconstrución ou eliminación de ruídoversión degradada e dato orixinalreconstruír desde conserva detalles necesarios para desfacer a degradación; pode dedicar capacidade a variacións irrelevantesAutorregresivaprefixo e seguinte elementomaximizar modela dependencias direccionais e fornece unha distribución xerativaPredición enmascaradapartes visibles e partes ocultadaspredicir tokens, píxeles, parches ou unidades latentesusa contexto bidireccional ou espacial; a máscara e o espazo obxectivo condicionan o aprendidoContrastivapares relacionados e, segundo o método, pares de referenciarecoñecer a vista positiva entre candidatasaprende invariancias definidas polas vistas; pode crear falsos negativosMestra–estudante e destilaciónsaída dunha rede obxectivo para outra vistafacer coincidir distribucións ou vectorespode prescindir de negativos explícitos; require mecanismos contra o colapsoPredición latente ou encaixe conxuntocontexto e representación obxectivopredicir unha representación, non o dato brutoevita reconstruír detalles imprevisibles, mais a semántica do espazo obxectivo non está garantida As denominacións describen o sinal dominante. BERT enmascara unidades textuais e aprende por clasificación; wav2vec 2.0 enmascara tramos latentes e usa unha perda contrastiva; DINO combina vistas cunha rede mestra; un autocodificador con eliminación de ruído reconstrúe o dato limpo. Clasificalos nunha única columna é útil para orientarse, non para establecer fronteiras absolutas.
Antecedentes e evolución histórica As ideas que hoxe se agrupan baixo autosupervisión preceden o uso estendido da expresión. O modelado estatístico de secuencias emprega desde hai décadas partes observadas para predicir outras, e os modelos de linguaxe neurais aprenderon simultaneamente probabilidades de secuencias e representacións distribuídas de palabras. Os autocodificadores aprenderon a reconstruír entradas a través dun código; as variantes de eliminación de ruído corromperon deliberadamente o dato e obrigaron a recuperar a versión limpa, convertendo a relación entre ambas versións nun sinal de aprendizaxe.
En linguaxe, as representacións distribuídas e métodos como word2vec demostraron que predicir unha palabra a partir do seu contexto, ou ao revés, podía producir vectores transferibles a comparacións léxicas. Estes obxectivos non precisaban unha taxonomía humana palabra por palabra: a orde e a coaparición do corpus fornecían os pares. O éxito posterior do preadestramento autorregresivo e do modelado enmascarado ampliou a escala, a profundidade contextual e o conxunto de tarefas ás que se transferían os modelos.
En visión artificial, o progreso inicial estivo marcado por tarefas pretexto deseñadas para forzar coñecemento espacial ou semántico: predicir a posición relativa de recortes, resolver crebacabezas de parches, inferir unha rotación, colorear unha imaxe ou seguir correspondencias nun vídeo. Cada tarefa incorporaba unha hipótese distinta. Predicir disposicións favorecía estrutura espacial; a colorización obrigaba a asociar formas con cores plausibles; o vídeo achegaba continuidade temporal. Tamén deixaban atallos: bordos cromáticos ou artefactos de procesamento podían facilitar a resposta sen a comprensión pretendida.