LaBSE (Language-agnostic BERT Sentence Embedding, en español: Incrustación de oraciones BERT independiente del idioma) es un modelo de incrustación de oraciones de código abierto desarrollado por Google Research y publicado en 2020.
Extiende el modelo de lenguaje BERT con una arquitectura multilingüe de doble codificador entrenada sobre texto paralelo, lo que permite generar vectores de oraciones semánticamente comparables en más de cien idiomas.
LaBSE se distribuye a través de TensorFlow Hub y es ampliamente utilizado para la recuperación de información multilingüe, la búsqueda semántica y la evaluación de la traducción automática.
Descripción general LaBSE fue presentado por Google Research como parte de su programa de aprendizaje de representaciones multilingües. El modelo mapea texto de diversos idiomas en un espacio vectorial compartido de 768 dimensiones, donde las oraciones semánticamente equivalentes se ubican próximas entre sí.
A diferencia de los sistemas tradicionales basados en traducción, LaBSE utiliza un único codificador Transformer compartido para todos los idiomas, lo que permite la comparación directa entre oraciones sin recurrir a la traducción.
Arquitectura El sistema sigue la estructura de BERT-base (12 capas de transformador, 12 cabezas de atención), pero emplea un entrenamiento de doble codificador similar al del Universal Sentence Encoder.
Cada oración se tokeniza mediante un vocabulario multilingüe conjunto de WordPiece que cubre 109 idiomas. Una media de los estados ocultos finales genera una representación de tamaño fijo para cada oración. El entrenamiento emplea una función de pérdida basada en clasificación de traducciones, que maximiza la similitud coseno entre oraciones paralelas y la minimiza entre pares no relacionados.
Entrenamiento LaBSE fue entrenado sobre grandes corpus multilingües que combinan conjuntos de datos públicos como OPUS con datos internos de traducción de Google.
La optimización utilizó el algoritmo Adam con negativos en el mismo lote y una entropía cruzada ajustada por temperatura. Según sus autores, LaBSE alcanzó resultados de vanguardia en los benchmarks de recuperación multilingüe como BUCC y Tatoeba en el momento de su publicación.
Aplicaciones El modelo está disponible públicamente en TensorFlow Hub y se encuentra integrado en marcos populares como Hugging Face Transformers y Spark NLP. Sus aplicaciones típicas incluyen: Búsqueda semántica y documental multilingüe. Evaluación automática de la calidad de la traducción automática. Agrupamiento, deduplicación y clasificación multilingüe. Uso como codificador universal para tareas de aprendizaje sin entrenamiento previo (zero-shot learning).
Recepción e impacto LaBSE ha sido citado extensamente en la literatura académica sobre aprendizaje de representaciones multilingües. Evaluaciones independientes indican que sigue siendo competitivo frente a modelos posteriores de incrustación multilingüe como LASER2 y la versión multilingüe de Sentence-BERT.
Su introducción marcó un hito en la investigación sobre similitud semántica multilingüe y sentó las bases para el desarrollo de codificadores multilingües posteriores en el ecosistema de código abierto.
Véase también Procesamiento del lenguaje natural BERT
Referencias
Enlaces externos
(por Yinfei Yang y Fangxiaoyu Feng, ingenieros de software de Google Research).
Categoría:Aprendizaje automático Categoría:Google Categoría:Inteligencia artificial Categoría:Software de 2020 Categoría:Software libre y de código abierto