A aprendizaxe por currículo é unha estratexia de aprendizaxe automática que organiza a presentación dos datos ou das tarefas durante o adestramento segundo unha progresión determinada. Na formulación máis habitual, o modelo comeza con exemplos considerados sinxelos e incorpora gradualmente outros máis difíciles. O currículo pode modificar a orde, a frecuencia, a ponderación ou o conxunto de exemplos accesibles en cada etapa. alt=Unha matriz mostra como se incorporan exemplos de dificultade crecente ao longo das etapas de adestramento.|miniatura|333x333px|Currículo sintético de incorporación progresiva. A cor indica dispoñibilidade e os números identifican as etapas; non se representa unha mellora experimental de rendemento. A motivación é que o camiño seguido durante a optimización pode influír na solución que se alcanza, especialmente en modelos non lineais. Unha tarefa simplificada pode axudar a aprender regularidades que posteriormente se refinan con datos máis complexos. Esta idea non implica que exista unha orde universalmente mellor: a dificultade depende do modelo, do seu estado de aprendizaxe e da tarefa final.
Os currículos poden deseñarse con coñecemento do dominio ou adaptarse automaticamente ao rendemento do alumno. Utilizáronse na visión artificial, no procesamento da linguaxe e na aprendizaxe por reforzo. A súa eficacia debe distinguirse do simple efecto de cambiar o número de datos procesados ou o tempo de adestramento.
Antecedentes A relación entre aprendizaxe e progresión de dificultade precede as redes profundas. Jeffrey Elman estudou en 1993 o efecto de comezar con problemas ou capacidades limitadas nunha rede recorrente que aprendía secuencias. A investigación examinaba como determinadas restricións iniciais podían facilitar a adquisición posterior de dependencias máis complexas. A conexión coa aprendizaxe humana serviu como motivación, pero os resultados referíanse a modelos e tarefas concretos.
Bengio e colaboradores formularon en 2009 a aprendizaxe por currículo como unha sucesión de distribucións de adestramento que se achegan á distribución de interese. Relacionaron a proposta cos métodos de continuación: resolver primeiro unha versión máis sinxela dun problema e transformar progresivamente o obxectivo. Esta relación é unha guía conceptual e non unha proba de que unha orde de exemplos elimine os mínimos locais de calquera rede.
En 2010, Kumar, Packer e Koller propuxeron a aprendizaxe ao propio ritmo, na que o modelo identifica os exemplos que lle resultan máis doados segundo a perda actual. A medida que avanza o proceso admítense exemplos cunha perda maior. Este procedemento converte a selección nunha parte da optimización, fronte aos currículos que establecen de antemán unha orde fixa.
Elementos dun currículo
Medida de dificultade Un currículo necesita unha regra para decidir que exemplos son accesibles ou prioritarios. A dificultade pode definirse mediante propiedades observables, como a lonxitude dunha secuencia, a presenza de ruído ou a complexidade dunha tarefa. Tamén pode estimarse coa perda dun modelo, coa confianza das súas predicións ou co rendemento dun profesor. Estas opcións miden aspectos distintos e poden producir clasificacións contraditorias dos mesmos exemplos.
Un texto curto non é necesariamente fácil de comprender, e unha imaxe con poucos obxectos pode conter unha clase moi infrecuente. As medidas baseadas no dominio son aproximacións que deben avaliarse na tarefa concreta. As medidas baseadas no alumno teñen a vantaxe de reflectir o seu estado, pero cambian durante o adestramento e poden identificar como difíciles exemplos simplemente mal etiquetados.
Hacohen e Weinshall estudaron medidas de dificultade e funcións de progresión para adestrar redes profundas. O seu traballo ilustra que a orde e o ritmo son compoñentes separados: unha ordenación útil pode perder eficacia se a incorporación é demasiado rápida ou demasiado lenta. Así, non abonda con declarar que os datos se presentan do máis fácil ao máis difícil; é necesario definir ambos os compoñentes.
Weinshall, Cohen e Amir estudaron currículos nos que a dificultade se estima mediante outra rede previamente adestrada. O seu traballo separou unha análise teórica para regresión lineal con perda convexa e experimentos con redes convolutivas: os resultados formais da primeira non constitúen unha garantía xeral para as segundas. A distinción entre a dificultade definida respecto dunha solución obxectivo e a perda do alumno actual axuda a explicar por que seleccionar exemplos fáciles e dar prioridade a exemplos mal resoltos non son necesariamente operacións incompatibles.
Función de progresión alt=Tres curvas mostran unha incorporación lineal, outra por etapas e outra rápida ao inicio, todas ata a totalidade dos datos.|miniatura|Exemplos matemáticos de funcións de progresión. A fracción dispoñible non indica canto aprendeu realmente unha rede nin compara a eficacia dos calendarios. A función de progresión determina como cambia a exposición aos datos. Nun currículo por limiar, cada exemplo recibe unha dificultade e admítese cando , onde é a competencia ou capacidade asignada á etapa . O limiar pode aumentar linealmente, por saltos ou segundo outra función. Tamén pode depender dun criterio de rendemento, de modo que a seguinte etapa só comece cando se cumpre unha condición.
As funcións baseadas no tempo son simples e reproducibles, pero non responden necesariamente ao progreso real do modelo. As adaptativas poden axustarse mellor á aprendizaxe, a cambio de introducir novas medicións e decisións. Unha progresión que se deteña cedo pode excluír para sempre rexións importantes; unha que avance case de inmediato pode equivaler ao adestramento ordinario.
Na tradución automática, Platanios e colaboradores propuxeron unha competencia crecente que controla a fracción de exemplos accesibles. As medidas de dificultade incluían propiedades das oracións e da frecuencia das palabras. A formulación permitía seleccionar exemplos entre os que quedaban dentro do nivel actual, mantendo aleatoriedade na mostraxe aínda que o conxunto dispoñible estivese organizado.
Formulación matemática Sexa un conxunto de adestramento e a perda do exemplo . Un currículo pode definir pesos non negativos e optimizar, en cada etapa,
sempre que o denominador sexa positivo. A selección estrita utiliza pesos cero ou un; a ponderación suave admite valores intermedios. Esta expresión distingue o obxectivo temporal do obxectivo final, que pode volver asignar o mesmo peso a todos os exemplos.
Outra implementación mostra os exemplos cunha distribución variable . Se se toman gradientes sen corrección, a súa esperanza corresponde ao obxectivo ponderado por esa distribución. Se se introducen pesos inversos ás probabilidades de mostraxe, pódese conservar un obxectivo uniforme baixo as condicións adecuadas. Son decisións diferentes: cambiar a distribución de adestramento e cambiar só a maneira de estimar un mesmo gradiente non teñen a mesma interpretación.
Na aprendizaxe ao propio ritmo, unha forma básica do problema conxunto é
Para parámetros fixos, un exemplo queda seleccionado cando a súa perda é menor ca ; no caso de igualdade ambas as decisións teñen o mesmo custo. Aumentar permite incorporar perdas maiores. A forma exacta cambia con regularizadores máis elaborados, restricións ou pesos continuos, pero a expresión mostra como a noción de facilidade pode integrarse no obxectivo.
Tipos de currículo
Currículos fixos e adaptativos Nun currículo fixo, a ordenación e a progresión establécense antes do adestramento. Esta opción facilita reproducir o experimento e interpretar que propiedade dos datos se utiliza, pero non detecta que un alumno avance máis rápido nunhas clases ca noutras. Un currículo adaptativo observa o estado do modelo e modifica os pesos ou tarefas dispoñibles durante a aprendizaxe.
MentorNet propuxo aprender unha rede auxiliar que asignase pesos aos exemplos utilizados por outra rede. O traballo estudou o adestramento con etiquetas corrompidas e a posibilidade de aprender currículos a partir de datos. O profesor de ponderación non produce necesariamente a etiqueta de cada exemplo: determina canto debe influír este na actualización do alumno. Iso distingue o seu papel do dun profesor que entrega distribucións para destilación.
Currículos de exemplos e de tarefas Un currículo de exemplos cambia a exposición dentro dunha tarefa: primeiro imaxes menos degradadas e despois imaxes con máis ruído, por exemplo. Un currículo de tarefas cambia os problemas que resolve o modelo. Pode variar a lonxitude das secuencias, a complexidade dun contorno ou o tipo de obxectivos dispoñibles. A transferencia entre tarefas convértese entón nunha parte esencial da proposta.
Graves e colaboradores investigaron a selección automática de tarefas mediante sinais de progreso de aprendizaxe. A idea era asignar atención ás tarefas nas que o alumno aínda podía mellorar, evitando empregar todo o tempo nas xa dominadas ou nas excesivamente difíciles. O problema do profesor pódese interpretar como unha decisión secuencial sobre onde investir o adestramento.
Currículos inversos A expresión currículo inverso pode resultar ambigua. Ás veces designa unha presentación de exemplos difíciles antes ca os fáciles, tamén chamada anticurrículo. Noutros traballos de aprendizaxe por reforzo refírese a comezar preto dun estado obxectivo e afastarse progresivamente del. Esta segunda estratexia segue unha progresión de menor a maior dificultade, aínda que constrúa os estados iniciais cara atrás desde a meta.
A separación terminolóxica é importante porque as dúas operacións alteran aspectos diferentes. Ordenar perdas de maior a menor cambia a prioridade dos exemplos. Xerar estados iniciais arredor dunha meta cambia a distribución de problemas que o axente chega a experimentar. Ningunha das dúas se describe de maneira suficiente coa palabra inverso sen explicar o procedemento.
Aprendizaxe por reforzo alt=Unha meta central está rodeada por rexións sucesivas de estados iniciais máis afastados.|miniatura|172x172px|Esquema sintético dun currículo de estados iniciais arredor dunha meta. A distancia xeométrica ilustra unha posible progresión; nun contorno real non ten por que coincidir coa dificultade. Na aprendizaxe por reforzo, a dificultade tamén depende da exploración: un axente pode non recibir nunca unha recompensa útil se parte demasiado lonxe da solución. Os currículos poden variar estados iniciais, metas, duración dos episodios ou propiedades do contorno. Ao presentar primeiro situacións nas que o éxito é alcanzable, preténdese producir experiencia útil para aprender condutas máis complexas.
Florensa e colaboradores estudaron a xeración automática de obxectivos cun nivel de dificultade adecuado ao estado do axente. Un xerador propón metas, e os resultados do alumno inflúen na selección posterior. O profesor deixa de ordenar un conxunto fixo e participa na creación das tarefas. O método require unha representación das metas e unha forma de comprobar o éxito; non resolve por si só a definición do que debe aprender o sistema.
Os currículos poden introducir dependencia entre tarefas. Se o éxito nunha etapa require unha habilidade que non se desenvolveu nas anteriores, a progresión pode estancarse. Pola contra, volver ocasionalmente a tarefas anteriores pode axudar a conservar capacidades. Estas decisións conectan os currículos coa transferencia e coa aprendizaxe continua, aínda que cada área formula obxectivos diferentes.
Relación con outras técnicas