alt=Un conxunto sen etiquetas alimenta a selección de consultas; unha persoa anota os exemplos e o modelo actualízase antes da seguinte rolda.|miniatura|336x336px|Ciclo da aprendizaxe activa baseada nunha reserva de exemplos. A selección pode cambiar despois de cada actualización do modelo. A aprendizaxe activa, no ámbito da aprendizaxe automática, é un procedemento no que o algoritmo escolle os exemplos dos que solicita información adicional, habitualmente etiquetas proporcionadas por persoas. O obxectivo é empregar o orzamento de anotación nos datos que se consideran máis útiles para mellorar o modelo. A selección depende do coñecemento dispoñible en cada momento e repítese a medida que se incorporan novas respostas.
A diferenza da aprendizaxe supervisada convencional, na que o conxunto etiquetado adoita considerarse dado, a aprendizaxe activa intervén na súa construción. Un clasificador de documentos pode, por exemplo, pedir a revisión dos textos sobre os que ten máis dúbidas. Esa estratexia pretende reducir o número de etiquetas necesario para acadar certo rendemento, pero a vantaxe depende do problema, da calidade da incerteza estimada e do custo real das consultas.
O termo non designa unha arquitectura concreta. Pode aplicarse a clasificadores lineais, modelos probabilísticos, máquinas de vectores soporte e redes profundas. Tampouco significa que o sistema determine por si só a resposta correcta: a fonte de supervisión continúa sendo unha parte esencial do proceso.
Desenvolvemento histórico A aprendizaxe mediante consultas relacionouse desde os seus comezos coa teoría da aprendizaxe e co deseño de experimentos. A pregunta fundamental era se un algoritmo podía aprender con menos información escollendo onde observar. Cohn, Atlas e Ladner formalizaron a mostraxe selectiva e estudaron a mellora da xeneralización nun escenario de clasificación binaria sen ruído. As vantaxes demostradas baixo esas hipóteses non implican que calquera regra de selección mellore sempre a mostraxe aleatoria.
En 1992, Seung, Opper e Sompolinsky propuxeron a consulta por comité. Varios modelos compatibles cos datos coñecidos identificaban os exemplos sobre os que discrepaban, de maneira que unha nova etiqueta permitise descartar explicacións alternativas. Lewis e Gale estudaron posteriormente a selección por incerteza para clasificación de textos, unha aplicación na que os documentos abundan pero a súa revisión manual ten un custo.
Co desenvolvemento da aprendizaxe profunda, o interese trasladouse tamén á selección de imaxes e doutros datos de alta dimensión. Estes modelos presentan dificultades particulares: necesitan un conxunto inicial suficiente, poden emitir probabilidades excesivamente seguras e esixen un custo considerable de readestramento. A investigación en aprendizaxe activa profunda combina por iso criterios de incerteza, representatividade e diversidade.
Formulación e ciclo de consulta Nun escenario baseado nunha reserva, hai un conxunto etiquetado , unha reserva sen etiquetar e un modelo adestrado cos datos dispoñibles na rolda . Unha función de adquisición asigna unha utilidade estimada a cada candidato. A selección dun único exemplo pode escribirse como
Despois de consultar a súa etiqueta , o par incorpórase a e retírase da reserva. O modelo actualízase e o ciclo continúa ata esgotar o orzamento ou cumprir un criterio de parada. Na selección por lotes elíxese un subconxunto , e a utilidade pode depender das relacións entre os seus elementos.
O tamaño inicial de importa porque a primeira regra de selección se calcula a partir dun modelo pouco informado. Se faltan clases ou rexións relevantes, o sistema pode non saber que as descoñece. A selección aleatoria, a agrupación ou unha cobertura inicial do espazo son procedementos posibles de arranque, cuxo efecto debe distinguirse do efecto da estratexia empregada nas roldas seguintes.
Modalidades de acceso aos datos Na síntese de consultas, o algoritmo pode construír unha entrada e pedir a súa resposta. Este escenario é natural nalgunhas formulacións teóricas e nalgúns experimentos controlados, pero unha entrada artificial pode ser difícil de interpretar para unha persoa. A liberdade matemática para propoñer puntos non garante que eses puntos representen obxectos válidos no dominio.
Na mostraxe selectiva dun fluxo, os exemplos chegan sucesivamente e o sistema decide se solicita ou non a etiqueta de cada un. As decisións deben tomarse con acceso limitado aos datos futuros, e ás veces tamén con memoria limitada. Na selección desde unha reserva, pola contra, existe un conxunto de candidatos que pode examinarse antes de consultar. A maioría dos métodos por lotes para redes profundas utilizan esta última formulación.
Estas modalidades impoñen restricións distintas. Un algoritmo que compara exhaustivamente todos os pares da reserva pode non ser viable nun fluxo. Do mesmo xeito, unha garantía para consultas sintetizadas non se traslada automaticamente a unha reserva finita. A descrición dun resultado de aprendizaxe activa require, polo tanto, especificar como se obteñen os candidatos, quen responde e que custos se contabilizan.
Estratexias de selección
Incerteza preditiva alt=Unha curva de probabilidade atravesa o valor medio; a entropía binaria é maior nesa zona e diminúe nos extremos.|miniatura|332x332px|Probabilidade e entropía dun clasificador loxístico sintético. A incerteza é máxima arredor da fronteira de decisión, pero a figura non demostra unha vantaxe universal da selección por entropía. A mostraxe por incerteza selecciona entradas para as que o modelo non ten unha predición clara. Se é a probabilidade da clase , a falta de confianza pode medirse mediante
Outra opción é escoller o menor marxe entre as dúas clases máis probables. A entropía utiliza toda a distribución:
En clasificación binaria, a entropía alcanza o máximo cando as dúas clases reciben a mesma probabilidade. Con máis clases, entropía e marxe poden ordenar os exemplos de maneira diferente. Estes criterios son baratos se o modelo xa produce probabilidades, pero a súa utilidade depende de que esas probabilidades expresen a falta de coñecemento relevante para aprender.
Un punto próximo á fronteira de decisión pode achegar información sobre a posición desa fronteira. Porén, tamén pode corresponder a unha ambigüidade que ningunha etiqueta adicional resolva de forma estable. Consultar repetidamente exemplos intrinsecamente ambiguos pode consumir o orzamento sen mellorar a predición noutras rexións. A incerteza dunha resposta e a utilidade dunha consulta son, por tanto, conceptos relacionados pero distintos.
Desacordo entre modelos A consulta por comité estima a utilidade a partir do desacordo entre varias hipóteses. Os membros poden proceder de mostras da distribución posterior, de diferentes inicializacións ou de conxuntos de datos remostrados. Un exemplo no que todos coinciden ofrece menos posibilidades de discriminar entre esas hipóteses ca outro no que as predicións diverxen.
O desacordo só é informativo respecto da diversidade que representa o comité. Modelos case idénticos poden compartir un erro sen discrepar, mentres que membros de baixa calidade poden discrepar por razóns pouco útiles. A construción do comité e a medida utilizada —votos, diverxencias entre probabilidades ou información mutua— forman parte da estratexia, e o custo de executar varios modelos debe incluírse na avaliación.
Nunha formulación bayesiana, BALD selecciona exemplos cunha elevada información mutua entre a etiqueta e os parámetros do modelo. O criterio resta da entropía preditiva a entropía media condicionada aos parámetros:
Así pretende separar a incerteza asociada ao descoñecemento do modelo da ambigüidade que persiste mesmo ao fixar os seus parámetros. Houlsby e colaboradores desenvolveron esta perspectiva, e Gal e colaboradores estudaron aproximacións aplicables a redes profundas.
Redución esperada do erro Outra familia de métodos estima como cambiaría o modelo tras coñecer unha etiqueta. Como a resposta aínda non se observou, débense considerar as etiquetas posibles e promediar os seus efectos segundo unha distribución estimada. O obxectivo pode ser reducir a varianza preditiva ou a perda esperada sobre unha poboación de interese. Cohn, Ghahramani e Jordan estudaron a selección de datos mediante modelos estatísticos con esta orientación.
Esta formulación conecta directamente a consulta coa tarefa final, pero pode requirir numerosos axustes hipotéticos do modelo. Ademais, o cálculo depende da distribución preditiva actual, que pode ser inexacta precisamente nas rexións que aínda non se exploraron. As aproximacións prácticas cambian precisión estatística por custo computacional, polo que non deben interpretarse como o valor exacto dunha etiqueta futura.
Representatividade e diversidade Un exemplo informativo illado pode representar unha rexión moi pouco frecuente. Os criterios de representatividade buscan cubrir a distribución dos datos ou dar prioridade a zonas con moitos exemplos relacionados. Os criterios de diversidade intentan evitar que un lote conteña numerosas consultas redundantes. Poden basearse en agrupamentos, distancias entre características ou problemas de cobertura.
Sener e Savarese formularon a selección dun lote como un problema de subconxunto representativo ou core-set. A distancia calcúlase nun espazo de características da rede e a selección procura cubrir os datos que quedan fóra do conxunto etiquetado. A interpretación xeométrica depende da representación: proximidade entre vectores non garante equivalencia semántica en todos os dominios.
BADGE combina incerteza e diversidade mediante representacións baseadas en gradientes calculados con etiquetas estimadas. Os candidatos cunha maior magnitude poden reflectir unha predición insegura, mentres que a selección diversa evita concentrarse nun único tipo de exemplo. As etiquetas estimadas úsanse para construír o criterio de adquisición; non substitúen as anotacións que se solicitan despois.
Outra familia evita basear a adquisición nas probabilidades de saída ou no desacordo entre modelos, e adestra en troques un módulo auxiliar que predí a magnitude da perda que a rede principal cometería en cada entrada sen etiqueta. Os exemplos cunha perda prevista maior selecciónanse para consulta, baixo a hipótese de que unha perda alta indica un caso peor resolto polo modelo actual. O módulo apréndese xunto coa rede principal a partir dos exemplos xa etiquetados, e non require distribucións de probabilidade nin varios modelos independentes; a súa fiabilidade depende, porén, de que a perda prevista xeneralice aos exemplos aínda non etiquetados.
Selección por lotes e dependencia entre consultas alt=Dúas seleccións sobre a mesma nube de puntos ilustran un lote concentrado e outro que cobre rexións separadas.|miniatura|437x437px|Exemplo sintético de redundancia nun lote. A selección por puntuación individual pode concentrar consultas; a cobertura xeométrica introduce diversidade, sen asegurar por si soa mellor precisión. Solicitar unha soa etiqueta cada vez permite adaptar inmediatamente a seguinte consulta, pero pode ser pouco eficiente se as persoas traballan en paralelo ou o modelo tarda moito en adestrarse. Os lotes reducen a frecuencia de actualización e facilitan organizar a anotación. A contrapartida é que as consultas dun mesmo lote se elixen antes de coñecer as respostas das demais.
Ordenar exemplos por unha puntuación individual e coller os primeiros non optimiza necesariamente a información conxunta. Dous exemplos case idénticos poden ser moi incertos por separado e achegar pouca información adicional cando se consultan xuntos. BatchBALD aborda esta dependencia mediante a información mutua conxunta das etiquetas do lote cos parámetros do modelo. O método aproxima un criterio de adquisición colectiva, cuxo custo crece coa complexidade das distribucións involucradas.