Un modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés) es un modelo de inteligencia artificial (generalmente una red neuronal) entrenado con una enorme cantidad de texto para tareas de procesamiento de lenguaje natural, especialmente generación de lenguaje. Los LLM pueden generar, resumir, traducir y analizar texto en numerosos contextos. Constituyen la base de muchos chatbots modernos, como ChatGPT, Claude, Gemini, Grok y DeepSeek.

Los LLM suelen basarse en la arquitectura transformer. Los transformadores generativos preentrenados (GPT) son un tipo de LLM preentrenado para predecir la siguiente palabra. Posteriormente, los GPT suelen someterse a un proceso de ajuste fino para seguir instrucciones y comportarse como asistentes.

Los datos de entrenamiento sesgados o inexactos pueden hacer que las respuestas de un LLM sean menos fiables. Las evaluaciones mediante pruebas de referencia para LLM intentan medir el razonamiento de los modelos, la precisión factual, la alineación de la inteligencia artificial y la seguridad de la inteligencia artificial.

Historia

Antes de la aparición de los modelos basados en transformadores en 2017, algunos modelos de lenguaje se consideraban grandes en relación con las limitaciones computacionales y de datos de su época. A comienzos de la década de 1990, los modelos estadísticos de IBM fueron pioneros en técnicas de alineación de palabras para la traducción automática, sentando las bases para el modelado lingüístico basado en corpus. En 2001, un modelo n-grama suavizado, como los que empleaban suavizado de Kneser-Ney, entrenado con 300 millones de palabras, alcanzó un estado del arte en perplejidad en pruebas de referencia. Durante la década de 2000, con la expansión del acceso a Internet, los investigadores comenzaron a recopilar enormes conjuntos de datos de texto de la web («la web como corpus») para entrenar modelos estadísticos de lenguaje.

Moviéndose más allá de los modelos n-grama, los investigadores comenzaron a utilizar redes neuronales como modelos de lenguaje en 2000. Tras el avance de las redes neuronales profundas en la clasificación de imágenes alrededor de 2012, se adaptaron arquitecturas similares para tareas lingüísticas. Este cambio estuvo marcado por el desarrollo de las representaciones vectoriales de palabras (por ejemplo, Word2Vec de Mikolov en 2013) y de modelos de secuencia a secuencia (seq2seq) que utilizaban LSTM. En 2016, Google transformó su servicio de traducción para utilizar la traducción automática neuronal (NMT), reemplazando los modelos estadísticos basados en frases por redes neuronales recurrentes profundas. Estos primeros sistemas de NMT utilizaban arquitecturas codificador-decodificador basadas en LSTM, ya que precedieron a la invención de los transformadores.

En la conferencia NeurIPS de 2017, investigadores de Google introdujeron la arquitectura transformador en su artículo fundamental «Attention Is All You Need». El objetivo de este artículo era mejorar la tecnología seq2seq de 2014 y se basaba principalmente en el mecanismo de atención desarrollado por Bahdanau et al. en 2014. Al año siguiente, en 2018, se presentó BERT, que rápidamente se volvió «omnipresente». Aunque el transformador original cuenta con bloques de codificador y decodificador, BERT es un modelo compuesto únicamente por un codificador. El uso académico y de investigación de BERT comenzó a disminuir en 2023, tras las rápidas mejoras en las capacidades de los modelos compuestos únicamente por decodificador (como GPT) para resolver tareas mediante prompting.

Aunque el modelo GPT-1, compuesto únicamente por un decodificador, se presentó en 2018, fue GPT-2 en 2019 el que atrajo una amplia atención porque OpenAI afirmó que inicialmente había considerado que era demasiado potente para publicarlo, por temor a un uso malicioso. GPT-3, en 2020, dio un paso más y, , está disponible únicamente mediante API, sin ofrecer la posibilidad de descargar el modelo para ejecutarlo localmente. Sin embargo, fue el chatbot orientado al consumidor ChatGPT, a finales de 2022, el que recibió una amplia cobertura mediática y atención pública durante 2023. El GPT-4 de 2023 fue elogiado por su mayor precisión y descrito como un «santo grial» por sus capacidades multimodales. OpenAI no reveló la arquitectura de alto nivel ni el número de parámetros de GPT-4. El lanzamiento de ChatGPT provocó un aumento del uso de LLM en varios subcampos de investigación de la informática, incluidos la robótica, la ingeniería de software y los estudios sobre impacto social. En 2024, OpenAI presentó el modelo de razonamiento OpenAI o1, que genera largas cadenas de razonamiento antes de proporcionar una respuesta final. Se han desarrollado muchos LLM con cantidades de parámetros comparables a las de la serie GPT de OpenAI.

Desde 2022, los modelos de código abierto (aquellos cuyo código fuente y pesos se ponen a disposición del público) han ido ganando popularidad, especialmente al principio con BLOOM y LLaMA, aunque ambos presentan restricciones en cuanto al campo de uso. Los modelos de pesos abiertos Mistral 7B y Mixtral 8x7B de Mistral AI cuentan con una licencia Apache más permisiva. En enero de 2025, DeepSeek presentó DeepSeek R1, un modelo de pesos abiertos de 671 mil millones de parámetros que tiene un rendimiento comparable al de OpenAI o1, pero a un precio por token mucho menor para los usuarios.

Desde 2023, muchos LLM se han entrenado para ser multimodales, con la capacidad de procesar o generar también otros tipos de datos, como imágenes, audio o mallas 3D.

Los LLM de pesos abiertos han adquirido mayor influencia desde 2023. Según Vake et al. (2025), las contribuciones impulsadas por la comunidad a los modelos de pesos abiertos mejoran su eficiencia y rendimiento mediante plataformas colaborativas como Hugging Face.

Propiedades Conjuntos de datos de pre-entrenamiento Los LLMs están pre-entrenados en grandes conjuntos de corpus textuales. Algunos conjuntos de corpus de texto de uso común son Common Crawl, The Pile, MassiveText, Wikipedia y GitHub. Los conjuntos de datos tienen un tamaño de hasta 10 billones de palabras.

El almacén de datos lingüísticos de alta calidad está dentro de los 4,6 a 17 billones de palabras, que está dentro de un orden de magnitud para los conjuntos de corpus textuales más grandes.

Leyes de escala En general, un LLM se puede describir de manera incompleta con cuatro parámetros: tamaño del modelo, tamaño del conjunto de datos de entrenamiento, costo del entrenamiento y rendimiento después del entrenamiento. Cada una de estas cuatro variables se puede definir con precisión mediante un número real y, empíricamente, se encuentra que dichos números están relacionados por leyes estadísticas simples, llamadas "leyes de escala".

Una ley de escala particular ("escala Chinchilla") para LLM entrenados autorregresivamente para una época, con un programa de tasa de aprendizaje logarítmico, establece que:

donde las variables son: es el costo de entrenar el modelo, en FLOPs. es el número de parámetros en el modelo. es el número de tokens / toquemas en el conjunto de entrenamiento. es la pérdida promedio de probabilidad logarítmica negativa por token / toquema (nats /token), lograda por el LLM capacitado en el conjunto de datos de prueba. y los parámetros estadísticos son: , lo que significa que cuesta 6 FLOPS por parámetro entrenar en un token / toquema. Obsérvese que el costo de capacitación es mucho más alto que el costo de inferencia, donde cuesta de 1 a 2 FLOPS por parámetro inferir en un token / toquema. .

Habilidades emergentes miniaturadeimagen| En una serie de puntos de referencia del lenguaje natural que involucran tareas como responder preguntas, los modelos no se desempeñan mejor que el azar hasta que alcanzan una cierta escala (en este caso, medida por cómputo de entrenamiento), momento en el cual su rendimiento aumenta considerablemente. Estos son ejemplos de habilidades emergentes. Si bien generalmente se puede extrapolar el rendimiento de los modelos grandes en varias tareas, en función del rendimiento de modelos más pequeños similares, a veces los modelos grandes experimentan un "cambio de fase discontinuo" en el que el modelo adquiere repentinamente habilidades sustanciales que no se ven en modelos más pequeños. Estas se conocen como "habilidades emergentes" y han sido objeto de un estudio sustancial. Los investigadores señalan que tales habilidades "no se pueden predecir simplemente extrapolando el rendimiento de modelos más pequeños". Estas habilidades se descubren en lugar de programarse o diseñarse, en algunos casos solo después de que el LLM se haya implementado públicamente. Se han descrito cientos de habilidades emergentes. Los ejemplos incluyen aritmética de varios pasos, aprobar exámenes de nivel universitario, identificar el significado previsto de una palabra, indicaciones de cadena de pensamientos, decodificar el Alfabeto Fonético Internacional, descifrar las letras de una palabra, identificar contenido ofensivo en párrafos de Hinglish (una combinación de hindi e inglés), y generando un equivalente en inglés similar a los proverbios en kiswahili.

Alucinación

Se ha observado que los LLM generativos realizan con confianza afirmaciones de hecho que no parecen estar justificadas por sus datos de entrenamiento, un fenómeno que se ha denominado "alucinación".

Arquitectura Los LLM se basan generalmente en la arquitectura transformer, que utiliza un mecanismo de atención que permite al modelo procesar simultáneamente las relaciones entre todos los elementos de una secuencia, independientemente de la distancia que los separe. Peng et al. (2023) propusieron los modelos de representación de espacio de estados como alternativa.

Mecanismo de atención y ventana de contexto Para determinar qué tokens son relevantes entre sí dentro del alcance de la ventana de contexto, el mecanismo de atención calcula ponderaciones «suaves» para cada token, más precisamente para su representación vectorial (embedding), mediante múltiples cabezas de atención, cada una de las cuales tiene su propia «relevancia» para calcular sus propias ponderaciones suaves. Por ejemplo, el pequeño modelo GPT-2 (de 117 millones de parámetros) tenía doce cabezas de atención y una ventana de contexto de solo 1.000 tokens.

Los modelos autoregresivos, como los GPT, se entrenan para predecir cómo continúa una secuencia; por ejemplo, si es más probable que a la secuencia de palabras «I like to eat» le siga la palabra «bread» o la palabra «rocks». Los modelos enmascarados, como BERT, se entrenan para predecir las partes que faltan de una secuencia; por ejemplo, si es más probable que la palabra que falta en «I like to ___ roses» sea «smell» o «eat». Las predicciones del modelo se basan en las propiedades de las secuencias presentes en su conjunto de datos de entrenamiento.

Mezcla de expertos

Una mezcla de expertos (MoE) es una arquitectura de aprendizaje automático en la que múltiples redes neuronales especializadas («expertos») trabajan conjuntamente, mediante un mecanismo de compuerta que dirige cada entrada hacia el experto o los expertos más apropiados. Las mezclas de expertos pueden reducir los costos de inferencia, ya que solo se utiliza una fracción de los parámetros para cada entrada.

Tamaño de los parámetros Por lo general, los LLM se entrenan utilizando números de coma flotante de precisión simple o media (float32 y float16). Un float16 tiene 16 bits, o 2 bytes, por lo que mil millones de parámetros requieren 2 gigabytes. Los modelos más grandes suelen tener más de 100.000 millones de parámetros, lo que los sitúa fuera del alcance de la mayoría de los dispositivos electrónicos de consumo.