Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

Lectura de Sand de Tramo Uno

Hugging Face ha lanzado Olmo-core 3, una infraestructura de entrenamiento abierta y escalable para modelos de mezcla de expertos (MoE) que permite escalar el entrenamiento a rangos de billones de parámetros, manteniendo la eficiencia computacional. Este avance es crucial para democratizar el acceso a la investigación en inteligencia artificial, permitiendo que investigadores y laboratorios más pequeños puedan desarrollar modelos avanzados sin los altos costos de computación que normalmente implican. El desarrollo de infraestructuras abiertas como Olmo-core 3 puede beneficiar a la comunidad de IA en América Latina, donde el acceso a recursos computacionales es limitado, permitiendo a más investigadores participar en la creación de modelos de lenguaje avanzados.