El 6 de febrero de 2024, un nuevo modelo lingüístico de código abierto se proclamó uno de los mejores del mundo según una plataforma líder en investigación y aplicaciones de PNL, Hugging Face.
Abacus AI lanzó un modelo llamado «Smaug-72B», una versión perfeccionada de «Qwen-72B», que ayuda a resolver distintos problemas en el ámbito de la IA y el aprendizaje automático. El director ejecutivo de Abacus AI, Bindu Reddy, publicó en X: «Smaug-72B de Abacus AI ya está disponible en Hugging Face, encabeza la clasificación de LLM y es el primer modelo con una puntuación media de 80″. En otras palabras, es el mejor modelo de código abierto del mundo».
El mejor modelo de código abierto del mundo LLM supera a GPT-3.5 (OpenAI) y a Mistral Medium (Mistral) en varios benchmarks populares como MMLU, HellaSwag, Arc, WinoGrade, GSM-8K y Truthful QA. SMaug-72B también supera a Qwen-72B, un potente modelo lingüístico elaborado por investigadores del Grupo Alibaba. Este modelo obtiene una puntuación media de más de 80 en las principales evaluaciones de LLM según la Hugging Face Open LLM Leaderboard. Las técnicas aplicadas por Abacus AI hacen que Smaug-72B destaque en tareas de razonamiento y matemáticas. Las técnicas de perfeccionamiento, junto con la puesta de relieve de los puntos débiles del LLM y sus capacidades, se detallarán en un próximo artículo de investigación.
«Nuestro próximo objetivo será publicar estas técnicas en un artículo de investigación y aplicarlas a algunos de los mejores modelos de Mistral, incluido miqu (un 70B que afina las capacidades de LLama-2). Nuestro próximo artículo explicará más». Dicho por Bindu Reddy.
Smaug-72B no es la única novedad en el ámbito de los modelos lingüísticos de código abierto. El equipo de Qwen presentó Qwen 1.5, con modelos robustos de 0,5B a 72B parámetros, superando en rendimiento a modelos tan conocidos como Mistral-Medium y (GPT-3.5). Con una longitud de contexto de 32k, está diseñado para ser compatible con numerosas herramientas y plataformas para una inferencia rápida e in situ. Además, Qwen ha lanzado Qwen-VL-Max, un modelo de lenguaje de visión de gran tamaño pionero que compite con Gemini Ultra de Google y GPT-4V de OpenAI, dos modelos propietarios líderes en este campo.
Smaug-72B constituye un hito reciente en el rápido y significativo avance de la IA de código abierto de este año, y marca una nueva era de innovación y democratización de la IA que pone en entredicho el control de las grandes empresas tecnológicas, abriendo así nuevas perspectivas para todos. Aunque la duración del liderazgo de Smaug-72B en la clasificación de Hugging Face sigue siendo incierta, está claro que la IA de código abierto está experimentando un auge significativo en este comienzo de año.