A aprendizaxe por reforzo (ás veces abreviada como AR; en inglés, reinforcement learning, RL) é unha área da aprendizaxe automática que estuda como un axente aprende a tomar decisións secuenciais mediante a interacción cunha contorna. En cada paso, o axente recibe información sobre a situación, escolle unha acción e obtén unha recompensa numérica; o seu obxectivo non é maximizar necesariamente a recompensa inmediata, senón o retorno esperado, é dicir, unha agregación das recompensas futuras. A política especifica como se escollen as accións e as funcións de valor estiman as consecuencias a longo prazo de estados ou pares estado–acción.
O formalismo máis habitual é o proceso de decisión de Markov (PDM), que representa estados, accións, transicións probabilísticas, recompensas e, adoito, un factor de desconto. O problema combina estimación estatística, optimización, teoría de control e decisión baixo incerteza: a acción modifica os datos que se observarán despois, as recompensas poden chegar con atraso e o axente debe equilibrar a explotación do coñecido coa exploración de alternativas. miniatura|420x420px|Ciclo de interacción. O axente escolle ; a contorna devolve e . Os métodos comprenden programación dinámica cando se coñece un modelo, estimación por Monte Carlo, aprendizaxe por diferenzas temporais, algoritmos baseados no valor, gradientes de política, métodos actor–crítico e técnicas baseadas nun modelo aprendido. A aprendizaxe por reforzo profunda emprega redes neurais profundas como aproximadores dentro destas familias; non constitúe un problema matemático distinto. Entre as aplicacións estudadas figuran xogos, robótica, control industrial, redes de comunicación, recomendación e planificación científica. O éxito en simulacións ou bancos de probas non implica automaticamente un despregamento fiable: a ineficiencia mostral, a exploración perigosa, a especificación incompleta da recompensa, a sensibilidade ás implementacións e a xeneralización fóra da distribución son limitacións centrais.
Relación con outros paradigmas Na aprendizaxe supervisada cada exemplo inclúe unha resposta obxectivo, e o erro pode calcularse directamente para ese exemplo. Na aprendizaxe por reforzo non adoita existir unha etiqueta que indique a acción correcta: o sinal é escalar, pode estar atrasado e a distribución dos datos depende das decisións do propio axente. A aprendizaxe non supervisada procura regularidades sen etiquetas, e a autosupervisada constrúe obxectivos a partir dos propios datos; ambas poden fornecer representacións a un axente, pero non resolven por si mesmas o problema de control secuencial.
Na aprendizaxe por imitación, unha política aprende de demostracións dun experto. Pode reducir a exploración inicial, mais herda os límites das demostracións e sofre cambio de distribución cando os erros levan a estados que o experto non mostrou. A aprendizaxe por reforzo inversa procura inferir unha función de recompensa compatible co comportamento observado, mentres a aprendizaxe por reforzo ordinaria supón dado algún sinal de recompensa.
Un bandido multi-brazo modela eleccións repetidas sen unha dinámica de estados relevante: cada acción produce unha recompensa e o problema esencial é identificar brazos rendibles. Nun PDM, pola contra, unha acción cambia o estado e con iso as oportunidades futuras. A teoría de bandidos achega ideas de exploración, regret e optimismo, pero o crédito temporal propio dos PDM require mecanismos adicionais.
A programación dinámica e a planificación calculan decisións usando un modelo de transicións e recompensas. Na aprendizaxe por reforzo o modelo pode ser descoñecido e aprenderse da experiencia, ou evitarse mediante métodos sen modelo. O control óptimo comparte a procura dunha lei de control que optimice un custo acumulado, pero adoita partir dunha descrición dinámica e estrutural máis explícita. A teoría da decisión abrangue eleccións baixo incerteza; a teoría dos xogos estende a análise a varios decisores con obxectivos potencialmente distintos. Estas fronteiras non son absolutas: hai algoritmos híbridos, control baseado en datos e aprendizaxe multiaxente formulada como xogo estocástico.
Formulación matemática
Proceso de decisión de Markov Un PDM descontado pode expresarse mediante a quíntupla
é o espazo de estados e o de accións; nalgúns problemas o conxunto admisible depende do estado. A función ou núcleo de transición
describe a distribución do seguinte estado. A recompensa pode especificarse como variable aleatoria condicionada pola transición, mediante unha distribución conxunta , ou pola súa esperanza . O parámetro é o factor de desconto. Unha distribución inicial completa a descrición cando se comparan retornos desde o comezo.
A propiedade de Markov afirma que o estado contén a información pertinente para predicir o seguinte resultado unha vez coñecida a acción:
Non afirma que os estados sucesivos sexan independentes nin que a dinámica sexa determinista. A calidade da formulación depende de que a representación escollida sexa suficientemente informativa; se o axente só ve unha observación parcial, o proceso observado pode non ser markoviano.
Nun problema de horizonte finito hai un número de decisións e a política óptima pode depender explicitamente do tempo. Nun problema de horizonte infinito non se fixa un último paso. As tarefas episódicas terminan nun estado terminal e volven comezar; as continuas non teñen fronteiras naturais entre episodios. O desconto pode garantir que o retorno sexa finito cando as recompensas están acoutadas, mentres que outros criterios (recompensa media a longo prazo ou custo total en problemas propios) requiren hipóteses diferentes. +Símbolos principaisSímboloSignificadoestado, acción e recompensa na transición do paso probabilidade de chegar a desde aplicando probabilidade coa que a política escolle en factor de desconto das recompensas futurasretorno acumulado desde valor dun estado baixo valor de tomar en e seguir taxa de aprendizaxe dunha actualización estocástica
Retorno e desconto O retorno descontado desde o instante é
A suma expresa que unha decisión pode producir consecuencias durante moitos pasos. Se está preto de cero, dominan as recompensas inmediatas; se se achega a un, as consecuencias afastadas conservan máis peso e aumenta o horizonte efectivo. O desconto tamén pode representar preferencia temporal ou incerteza sobre a continuidade, pero matematicamente é sobre todo unha forma de obter unha suma ben definida: se e , daquela .
Nun episodio que remata no tempo , o retorno é a suma finita . Pode empregarse cando a terminación fai finito o retorno e se cumpren condicións de terminación axeitadas. Mesturar unha tarefa continua sen desconto con retorno total pode facer que o obxectivo diverxa; nese caso úsanse formulacións de recompensa media ou criterios de risco específicos.
Políticas Unha política estocástica estacionaria é unha distribución condicional
Unha política determinista é unha función . «Estacionaria» significa que a regra non depende de ; non significa que o proceso xerado permaneza nun mesmo estado. En horizontes finitos poden ser necesarias políticas non estacionarias . A política de comportamento é a que xera os datos e a política obxectivo é a que se avalía ou mellora. Se coinciden, a aprendizaxe é on-policy; se difiren, é off-policy.
Funcións de valor O valor dun estado baixo unha política é o retorno esperado condicionado a ese estado:
O valor dunha acción incorpora a primeira decisión:
Así, resume a calidade dunha situación baixo unha conduta, mentres permite comparar accións. A relación vale no caso discreto. As funcións óptimas son
En PDM finitos descontados existe unha política determinista estacionaria óptima, mais esta conclusión depende da clase de problemas; restricións, observabilidade parcial ou outros criterios poden requirir políticas estocásticas ou dependentes da historia.
Ecuacións de Bellman O principio de optimalidade de Bellman expresa que unha solución óptima contén solucións óptimas para os subproblemas restantes. A descomposición produce a ecuación de expectativa
Para os valores de acción,
Cada igualdade separa a recompensa dunha transición e o valor descontado do estado seguinte. A esperanza integra dúas fontes de azar: a dinámica da contorna e, se a hai, a política. Non é unha aproximación, senón unha identidade que caracteriza o valor verdadeiro.
A ecuación de optimalidade substitúe a media sobre a política pola mellor continuación:
En espazos continuos o máximo e as sumas poden converterse en supremos e integrais. Para e recompensas acoutadas, o operador de Bellman de expectativa dunha política e o operador óptimo son contraccións na norma suprema; esta propiedade dá unicidade ao punto fixo e fundamenta a converxencia da iteración de valores tabular.
Vantaxe e distribución de ocupación A función de vantaxe dunha política é
Como é a media de baixo , tense . Unha vantaxe positiva significa que, mantendo despois , esa primeira acción supera a acción media da política no estado; non afirma que sexa globalmente óptima. Esta centración explica por que a vantaxe pode fornecer un sinal de gradiente con menor varianza ca o retorno sen base.
A distribución de ocupación descontada dunha política desde unha distribución inicial pode definirse como
O factor normaliza a suma. A ocupación revela que o rendemento non depende só das accións condicionadas a cada estado, senón tamén de que estados visita a política. Isto é central nos cambios de distribución: unha pequena modificación local pode conducir a rexións diferentes e invalidar estimacións construídas con datos doutra conduta.
A identidade de diferenza de rendemento expresa, baixo convencións axeitadas, a mellora entre dúas políticas como unha media da vantaxe antiga baixo a ocupación da política nova. Os algoritmos con rexión de confianza substitúen esa ocupación difícil por aproximacións e limitan o cambio da política para controlar o erro. A identidade non converte unha vantaxe estimada e ruidosa nunha garantía práctica sen máis hipóteses.
Desconto, terminación e recompensa media O desconto xeométrico pode interpretarse como probabilidade de continuidade: se despois de cada transición o episodio remata independentemente con probabilidade , o retorno non descontado esperado coincide cun criterio descontado relacionado. Esta interpretación non é obrigatoria; en economía pode representar preferencia temporal e en algoritmos controla o alcance da propagación.
Para tarefas continuas, o criterio de recompensa media
evita preferir arbitrariamente o presente. A súa teoría emprega valores diferenciais, que miden o exceso acumulado respecto de , e require condicións sobre as clases recorrentes da cadea. Non sempre existe unha política que sexa simultaneamente óptima para todo factor de desconto e para recompensa media; por iso o criterio forma parte da especificación do problema.
Nos estados terminais adoita fixarse valor cero despois da terminación, facendo que a recompensa de entrada recolla a consecuencia final. Confundir un límite temporal administrativo co terminal semántico introduce nesgo: truncar un episodio porque se esgotou o orzamento non significa necesariamente que non haxa valor futuro. As implementacións deben distinguir terminacións propias da tarefa e truncamentos externos. miniatura|391x391px|Barridos de iteración de valores nun gridworld sintético. A cor, os números e as frechas amosan respectivamente magnitude, estimación e política voraz; non son resultados experimentais.
Exemplo recorrente: un mundo de cuadrícula