Aprendizaje por refuerzo a partir de retroalimentación humana

En el aprendizaje automático, el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) es una técnica para alinear un agente inteligente con las preferencias humanas. Consiste en entrenar un modelo de recompensa para representar las preferencias, que luego puede utilizarse para entrenar otros modelos mediante el aprendizaje por refuerzo.

En el aprendizaje por refuerzo clásico, el objetivo de un agente inteligente es aprender una función que guíe su comportamiento, denominada política. Sin embargo, definir explícitamente una función de recompensa que se aproxime con precisión a las preferencias humanas es todo un reto.Russell, Stuart J.; Norvig, Peter (2016). Artificial intelligence: a modern approach (Third, Global ed.). Boston Columbus Indianapolis New York San Francisco Upper Saddle River Amsterdam Cape Town Dubai London Madrid Milan Munich Paris Montreal Toronto Delhi Mexico City Sao Paulo Sydney Hong Kong Seoul Singapore Taipei Tokyo: Pearson. pp. 830–831. ISBN 978-0-13-604259-4. Por ello, RLHF trata de entrenar un "modelo de recompensa" directamente a partir de los comentarios humanos".Ziegler, Daniel M.; Stiennon, Nisan; Wu, Jeffrey; Brown, Tom B.; Radford, Alec; Amodei, Dario; Christiano, Paul; Irving, Geoffrey (2019). "Fine-Tuning Language Models from Human Preferences". arXiv:1909.08593 [cs.CL]. El modelo de recompensa se entrena primero de forma supervisada para predecir si una respuesta a una pregunta dada es buena (recompensa alta) o mala (recompensa baja) basándose en los datos de clasificación recogidos de los anotadores humanos. Este modelo sirve entonces como una función de recompensa para mejorar la política de un agente a través de un algoritmo de optimización como la optimización de política proximal.Lambert, Nathan; Castricato, Louis; von Werra, Leandro; Havrilla, Alex. "Illustrating Reinforcement Learning from Human Feedback (RLHF)". huggingface.co.Consultado 4/03/2023.Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017). "Proximal Policy Optimization Algorithms". arXiv:1707.06347 [cs.LG].Tuan, Yi-Lin; Zhang, Jinzhi; Li, Yujia; Lee, Hung-yi (2018). "Proximal Policy Optimization and its Dynamic Version for Sequence Generation". arXiv:1808.07982 [cs.CL].

RLHF tiene aplicaciones en varios dominios del aprendizaje automático, incluyendo tareas de procesamiento de lenguaje natural como el resumen de textos y agentes conversacionales, tareas de visión por ordenador como los modelos texto-imagen, y el desarrollo de bots para videojuegos. Aunque RLHF es un método eficaz para entrenar modelos que actúen mejor de acuerdo con las preferencias humanas, también se enfrenta a retos debido a la forma en que se recogen los datos de preferencias humanas. Aunque RLHF no requiere cantidades masivas de datos para mejorar el rendimiento, la obtención de datos de preferencias de alta calidad sigue siendo un proceso costoso. Además, si los datos no se recogen cuidadosamente de una muestra representativa, el modelo resultante puede presentar sesgos no deseados.

Antecedentes y motivación Optimizar un modelo basándose en la opinión humana es deseable cuando una tarea es difícil de especificar pero fácil de juzgar.Amodei, Dario; Christiano, Paul; Ray, Alex (13/06/2017). "Learning from human preferences". openai.com. Consultado 4/03/2023. Por ejemplo, se puede querer entrenar un modelo para que genere texto seguro que sea útil e inofensivo (que carezca de sesgos, toxicidad o contenido dañino). Pedir a los humanos que creen manualmente ejemplos de texto inofensivo y dañino sería difícil y llevaría mucho tiempo. Sin embargo, los humanos son expertos en evaluar y comparar rápidamente la nocividad de distintos textos generados por IA. Por lo tanto, un objetivo más práctico sería permitir que el modelo utilizara este tipo de información humana para mejorar su generación de texto.Zheng, Rui; Dou, Shihan; Gao, Songyang; Hua, Yuan; Shen, Wei; Wang, Binghai; Liu, Yan; Jin, Senjie; Liu, Qin; Zhou, Yuhao; Xiong, Limao; Chen, Lu; Xi, Zhiheng; Xu, Nuo; Lai, Wenbin; Zhu, Minghao; Chang, Cheng; Yin, Zhangyue; Weng, Rongxiang; Cheng, Wensen; Huang, Haoran; Sun, Tianxiang; Yan, Hang; Gui, Tao; Zhang, Qi; Qiu, Xipeng; Huang, Xuanjing (2023). "Secrets of RLHF in Large Language Models Part I: PPO". arXiv:2307.04964 [cs.CL].

A pesar de las claras ventajas de incorporar información humana a los modelos de entrenamiento, los esfuerzos anteriores -incluidos algunos que aprovechan el aprendizaje por refuerzo- se han enfrentado a retos importantes. La mayoría de los intentos eran limitados y difíciles de generalizar, por lo que se rompían en tareas más complejas,Knox, W. Bradley; Stone, Peter; Breazeal, Cynthia (2013). "Training a Robot via Human Feedback: A Case Study". Social Robotics. Lecture Notes in Computer Science. Vol. 8239. Springer International Publishing. pp. 460–470. doi:10.1007/978-3-319-02675-6_46. . Consultado 26/02/2024.Akrour, Riad; Schoenauer, Marc; Sebag, Michèle (2012). "APRIL: Active Preference Learning-Based Reinforcement Learning". Machine Learning and Knowledge Discovery in Databases. Lecture Notes in Computer Science. Vol. 7524. Springer. pp. 116–131. arXiv:1208.0984. doi:10.1007/978-3-642-33486-3_8. . Consultado 26/02/2024.Wilson, Aaron; Fern, Alan; Tadepalli, Prasad (2012). "A Bayesian Approach for Policy Learning from Trajectory Preference Queries". Advances in Neural Information Processing Systems. 25. Curran Associates, Inc.Consultado 26/02/2024.Schoenauer, Marc; Akrour, Riad; Sebag, Michele; Souplet, Jean-Christophe (18/06/2014). "Programming by Feedback". Proceedings of the 31st International Conference on Machine Learning. PMLR: 1503–1511. Consultado 26/02/2024. o se enfrentaban a dificultades de aprendizaje a partir de funciones de recompensa dispersas (carentes de información específica y relacionadas con grandes cantidades de texto a la vez) o ruidosas (que recompensan resultados similares de forma inconsistente).Warnell, Garrett; Waytowich, Nicholas; Lawhern, Vernon; Stone, Peter (25 April 2018). "Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces". Proceedings of the AAAI Conference on Artificial Intelligence. 32 (1). arXiv:1709.10163. doi:10.1609/aaai.v32i1.11485. S2CID 4130751.MacGlashan, James; Ho, Mark K.; Loftin, Robert; Peng, Bei; Wang, Guan; Roberts, David L.; Taylor, Matthew E.; Littman, Michael L. (6 August 2017). "Interactive learning from policy-dependent human feedback". Proceedings of the 34th International Conference on Machine Learning - Volume 70. JMLR.org: 2285–2294. arXiv:1701.06049.

RLHF no fue el primer método exitoso de utilizar la retroalimentación humana para el aprendizaje por refuerzo, pero es uno de los más utilizados. La base de RLHF se introdujo como un intento de crear un algoritmo general para el aprendizaje a partir de una cantidad práctica de retroalimentación humana. El algoritmo tal y como se utiliza hoy en día fue introducido por OpenAI en un documento sobre la mejora de la continuación de texto o resumen basado en la retroalimentación humana, y comenzó a ganar popularidad cuando el mismo método fue reutilizado en su documento sobre InstructGPT.Nisan Stiennon; Long Ouyang; Jeffrey Wu; Daniel Ziegler; Ryan Lowe; Chelsea Voss; Alec Radford; Dario Amodei; Paul F. Christiano (2020). "Learning to summarize with human feedback". Advances in Neural Information Processing Systems. 33.Ouyang, Long; Wu, Jeffrey; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Gray, Alex; Schulman, John; Hilton, Jacob; Kelton, Fraser; Miller, Luke; Simens, Maddie; Askell, Amanda; Welinder, Peter; Christiano, Paul; Leike, Jan; Lowe, Ryan (31/10/2022). Training language models to follow instructions with human feedback. Thirty-Sixth Conference on Neural Information Processing Systems: NeurIPS 2022. arXiv:2203.02155. También se ha demostrado que RLHF mejora la robustez de los agentes RL y su capacidad de exploración, lo que resulta en un proceso de optimización más hábil para manejar la incertidumbre y explorar eficientemente su entorno en busca de la mayor recompensa.Bai, Yuntao; Jones, Andy; Ndousse, Kamal; Askell, Amanda; Chen, Anna; DasSarma, Nova; Drain, Dawn; Fort, Stanislav; Ganguli, Deep; Henighan, Tom; Joseph, Nicholas; Kadavath, Saurav; Kernion, Jackson; Conerly, Tom; El-Showk, Sheer; Elhage, Nelson; Hatfield-Dodds, Zac; Hernandez, Danny; Hume, Tristan; Johnston, Scott; Kravec, Shauna; Lovitt, Liane; Nanda, Neel; Olsson, Catherine; Amodei, Dario; Brown, Tom; Clark, Jack; McCandlish, Sam; Olah, Chris; Mann, Ben; Kaplan, Jared (2022). "Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback". arXiv:2204.05862 [cs.CL].

Recopilación de retroalimentación humana miniaturadeimagen|350x350px|Visión general del aprendizaje por refuerzo a partir de retroalimentación humana La retroalimentación humana se suele recoger pidiendo a los humanos que clasifiquen instancias del comportamiento del agente.Edwards, Benj (1/12/2022). "OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results". Ars Technica.Consultado 04/03/2023.Abhishek, Gupta (5/02/2023). "Getting stakeholder engagement right in responsible AI". VentureBeat.Consultado 4/03/2023. Estas clasificaciones se pueden utilizar para puntuar los resultados, por ejemplo, utilizando el sistema de clasificación Elo, que es un algoritmo para calcular los niveles relativos de habilidad de los jugadores en un juego basado únicamente en el resultado de cada partida.Mientras que la clasificación de los resultados es la forma de retroalimentación más ampliamente adoptada, investigaciones recientes han explorado otras formas, como la retroalimentación numérica, la retroalimentación en lenguaje natural y la solicitud de ediciones directas de los resultados del modelo.Fernandes, Patrick; Madaan, Aman; Liu, Emmy; Farinhas, António; Pedro Henrique Martins; Bertsch, Amanda; de Souza, José G. C.; Zhou, Shuyan; Wu, Tongshuang; Neubig, Graham; Martins, André F. T. (2023). "Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation". arXiv:2305.00955 [cs.CL].

Una motivación inicial de RLHF fue que requiere cantidades relativamente pequeñas de datos de comparación para ser eficaz.Se ha demostrado que una pequeña cantidad de datos puede conducir a resultados comparables a una cantidad mayor. Además, aumentar la cantidad de datos tiende a ser menos eficaz que aumentar proporcionalmente el tamaño del modelo de recompensa. No obstante, una cantidad mayor y más diversa de datos puede ser crucial para tareas en las que es importante evitar el sesgo de un grupo parcialmente representativo de anotadores.