MultiMedQA es un importante modelo del lenguaje (LLM) para fines médicos que combina HealthSearchQA y seis conjuntos de datos actuales de respuesta a preguntas abiertas publicada el 26 de diciembre de 2022 por Google Research y Deepmind. Transforma la forma en que los profesionales de la medicina, los investigadores y los consumidores acceden a la información y las preguntas médicas.
El modelo se creó para evaluar la calidad de las respuestas humanas a cuestiones complicadas. Para ello, se utilizó un intrincado método de evaluación para examinar la precisión, profundidad, daño potencial y sesgo de las respuestas.
MultiMedQA se creó a partir de seis conjuntos de datos de respuestas actuales, a saber, MedQA, MedMCQA, PubMedQA, LiveQA, MedicationQA y MMLU clinical topics. MultiMedQA combinó esos conjuntos de datos con uno propio llamado HealthSearchQA, que consta de 3375 preguntas de salud comúnmente buscadas. Para evaluar los LLM con MultiMedQA, la investigación de Google se basó en PaLM, un LLM de 540 billones de parámetros, y su variante ajustada por instrucciones Flan-PaLM.
El conjunto de datos MedQA consta de preguntas del tipo USMLE (US Medical License Exam), 194.000 preguntas de opción múltiple de 4 opciones de los exámenes de acceso a la medicina de la India (AIIMS/NEET), 1000 pares de preguntas-respuesta etiquetadas por expertos en las que la tarea consiste en producir una respuesta de opción múltiple sí/no/tal vez, 674 de preguntas habituales de los consumidores sobre medicamentos y 3.375 preguntas habituales de los consumidores (HealthCareQA).
Referencias
Categoría:Inteligencia artificial Categoría:Aprendizaje automático aplicado