DEV Community

DrMBL
DrMBL

Posted on Originally published at the-agent-report.com

IFM K2 Horizon : six modèles Apache 2.0 avec un historique d'entraînement entièrement ouvert

#ifm #k2horizon #opensource #apache20

TL;DR — IFM (Institute of Foundation Models) a publié K2 Horizon, une flotte connectée de six modèles allant de 0.9B à 375B de paramètres sous licence Apache 2.0. Cette flotte est présentée comme la publication ouverte la plus complète à ce jour : pour chaque modèle, IFM ouvre l’intégralité du cycle de vie d’entraînement — checkpoints intermédiaires, recettes de données, architecture, code d’entraînement, configurations, journaux et résultats d’évaluation — et pas seulement les poids finaux. Les petits modèles établissent des scores à la pointe de l’état de l’art pour leur catégorie de taille (le 0.9B atteint 48,5 sur AIME 2026) et une nouvelle architecture d’attention parcimonieuse MoVA équipe le modèle 36B. Elle est positionnée comme la première flotte de modèles entièrement ouverte pour les agents (Source : IFM — Introducing K2 Horizon: Frontier Performance, Radically Open).

Introduction

K2 Horizon arrive la même semaine où OpenAI a livré GPT-6 Astra — un modèle phare fermé qui « termine le travail » à 10 $/50 $ par million de tokens. La réponse d’IFM est l’image en miroir : au lieu d’un seul modèle fermé, une flotte de six modèles dont le différenciateur n’est pas les poids eux-mêmes, mais la trace de la manière dont ils ont été produits.

L’Institute of Foundation Models est issu de MBZUAI et a publié un modèle ouvert chaque année depuis que son article LLM360 de 2023 a formulé pour la première fois le principe « entièrement ouvert » (Source : MarkTechPost — IFM Releases K2 Horizon: Six Apache 2.0 Models From 0.9B to 375B). K2 Horizon étend cet engagement au-delà du pré-entraînement, vers le raisonnement et le post-entraînement agentique — la partie de la pile que la plupart des laboratoires considèrent encore comme une recette secrète.

Six modèles, un historique intégralement ouvert

La flotte couvre 0.9B, 3.7B, 7B, 32B, 36B-A4B et 375B-A23B — un éventail délibéré allant des appareils en périphérie (montres, lunettes) à l’entreprise. Chaque modèle est publié sous licence Apache 2.0, et chacun est accompagné de checkpoints intermédiaires, des données d’entraînement ou des recettes de construction de données, des compositions de mélanges, du code d’entraînement, des configurations, des journaux détaillés et des résultats d’évaluation (Source : IFM — Introducing K2 Horizon).

La véritable histoire, c’est l’échelle. Chaque modèle est pré-entraîné sur environ 20 000 milliards de tokens, et le modèle phare 375B-A23B active environ 23 milliards de paramètres par token — un mélange d’experts parcimonieux qui mobilise une capacité bien supérieure à celle qu’il dépense à chaque passe avant. Le 32B dense et le 36B-A4B sparse se situent dans la « zone idéale de déploiement local » pour les stations de travail et une inférence efficace (Source : IFM — Introducing K2 Horizon).

MoVA : la parcimonie au-delà du réseau feed-forward

La nouveauté architecturale est MoVA — Mixture-of-Value-Attention (mélange d’attention par valeur). Le MoE conventionnel n’applique la parcimonie qu’aux couches feed-forward ; IFM l’étend à l’attention, où le modèle décide comment rassembler l’information dans son contexte. Résultat : le modèle 36B-A4B n’active qu’environ 4 milliards de paramètres par token tout en approchant les performances du 32B dense (Source : IFM — Introducing K2 Horizon).

C’est important car cela ouvre une deuxième dimension pour le passage à l’échelle. La capacité totale peut continuer de croître tandis que le calcul par token reste à peu près stable, sans empiler davantage d’experts feed-forward.

Les petits modèles surclassent leur catégorie

Les tableaux de benchmarks sont l’endroit où K2 Horizon se démarque des précédentes publications ouvertes. Les chiffres les plus marquants proviennent des petits modèles de la flotte :

Ce dernier chiffre est révélateur. Un modèle 7B qui rivalise presque avec des modèles plusieurs fois plus gros sur le codage agentique et la recherche web approfondie est exactement le signal de capacité qui rend crédible l’affirmation de « flotte ouverte pour les agents », plutôt qu’un simple argument marketing.

Pourquoi l’« ouverture » compte pour les agents

Cette publication présente l’ouverture comme un avantage d’ingénierie, et pas seulement comme un idéal de recherche. En exposant les checkpoints, les recettes de données et les journaux d’entraînement jusqu’au post-entraînement agentique, K2 Horizon permet d’étudier comment l’utilisation d’outils, la planification et le raisonnement émergent — et de reproduire ou d’adapter ces méthodes à de nouveaux outils et environnements (Source : IFM — Introducing K2 Horizon).

C’est là le véritable contraste avec GPT-6 Astra et les autres modèles fermés de pointe. Un modèle fermé, on peut l’exécuter ; un modèle ouvert, on peut le réentraîner. Pour les équipes qui construisent des agents sur des piles d’outils propriétaires, cette distinction devient de plus en plus le facteur décisif — un thème que nous avions signalé dans notre analyse du paradoxe de l’IA open source et de l’essor des modèles d’agents locaux open weight.

FAQ

K2 Horizon est-il réellement open source ?
Les modèles et le code sont sous licence Apache 2.0. Les jeux de données sont publiés sous des licences telles qu’ODC-BY et, lorsque la redistribution complète n’est pas possible, IFM indique comment les données ont été construites et mélangées. C’est à peu près le maximum d’ouverture qu’une publication de cette envergure puisse atteindre, mais les données d’entraînement brutes ne sont pas toujours intégralement redistribuables.

Comment se compare-t-il à GPT-6 Astra ?
Ce sont des produits différents. Astra est un modèle phare fermé unique, optimisé pour un travail de bout en bout ; K2 Horizon est une flotte ouverte de six modèles. Le 375B-A23B figure parmi les meilleurs modèles ouverts de moins de 400B, mais ne prétend pas surpasser les modèles fermés de pointe — sa valeur réside dans l’ouverture et la reproductibilité, pas dans la première place d’un classement.

Puis-je l’exécuter localement ?
Les modèles de 0.9B à 7B sont dimensionnés pour le déploiement en périphérie et sur appareil, et les 32B/36B pour les stations de travail, le tout avec prise en charge de la quantification. Le 375B nécessite une infrastructure de serving de qualité entreprise.

Qu’est-ce que MoVA ?
MoVA (Mixture-of-Value-Attention) étend la parcimonie du mélange d’experts des couches feed-forward à l’attention, permettant au 36B-A4B d’approcher les performances du 32B dense tout en n’activant qu’environ 4 milliards de paramètres par token.

Pour aller plus loin

Cet article a été initialement publié sur The Agent Report.

Top comments (0)