ODESIA Challenge @ SEPLN 2024
(1 Julio – 14 Septiembre)
Registro abierto hasta el 30 de Julio de 2024
Este desafío tiene como objetivo promover el desarrollo y la evaluación de modelos lingüísticos en español utilizando la plataforma de evaluación y los conjuntos de datos proporcionados por el proyecto ODESIA (Espacio de Observación del Desarrollo del Español en la Inteligencia Artificial).
El desafío consiste en resolver 10 tareas discriminativas en español, que pertenecen al Leaderboard ODESIA y se evalúan sobre datos privados. Estas tareas, con datos de evaluación privados, pertenecen a la sección ODESIA-CORE del ODESIA Leaderboard. El ODESIA Leaderboard es una aplicación que proporciona una infraestructura de evaluación de modelos de lenguaje previamente entrenados en inglés y español que permite una comparación directa entre el desempeño de los modelos en uno y otro idioma. Además, la tabla de clasificación tiene una sección ODESIA-EXTENDIDA con 4 tareas con datos de evaluación pública preexistentes, pero estas no son parte del desafío. Aunque para todas las tareas ODESIA proporciona datos bilingües (español e inglés), este desafío se centra únicamente en las tareas en español (parte española de ODESIA-CORE).
PROGRAMA: Miércoles 25-SEP-2024 17:30-18:30 [Sala 1306]
ODESIA Challenge
17:30
- Presentación del proyecto ODESIA para la evaluación comparada del desarrollo de la Inteligencia Artificial en español respecto al inglés. Presentación de los resultados y recursos construidos en los dos primeros años del proyecto: Portal ODESIA, ODESIA leaderboard y EvALL 2.0.
18:00
- Presentación del challenge ODESIA, discusión de resultados y entrega del premio al mejor sistema.
El equipo que presente el mejor sistema recibirá un premio en metálico de 3.000 euros, donado por la empresa Llorente y Cuenca Madrid, SL.