DBRX es un modelo grande de lenguaje (LLM) desarrollado por Mosaic bajo su empresa matriz Databricks, publicado el 27 de marzo de 2024 bajo la Databricks Open Model License. Es un modelo transformador de tipo mezcla de expertos, con un total de 132 mil millones de parámetros. Para cada token están activos 36 mil millones de parámetros (4 de 16 expertos). El modelo publicado está disponible tanto en una versión base de modelo fundacional como en una variante ajustada mediante ajuste de instrucciones.
En el momento de su lanzamiento, DBRX superó en varias pruebas comparativas a modelos destacados como Llama 2 de Meta, Mixtral de Mistral AI y Grok-1 de xAI. Estas pruebas abarcaban comprensión del lenguaje, capacidad de programación y matemáticas.
Fue entrenado durante 2 meses y medio y, según se informó, utilizó 3072 Nvidia H100 conectadas mediante un ancho de banda de 3,2 terabytes por segundo (InfiniBand), con un coste de entrenamiento de 10 millones de dólares estadounidenses.
Referencias
Enlaces externos
Categoría:Modelos grandes de lenguaje Categoría:Inteligencia artificial en 2024 Categoría:Transformadores generativos preentrenados Categoría:Software de 2024