Le marché de l'IA se vend au benchmark. Presque aucun de ces chiffres n'est vérifiable par celui à qui on le montre. Voici les quatre questions qui font la différence, et nos propres résultats passés au même filtre.
Elles valent pour n'importe quel fournisseur, nous compris. Elles ne demandent aucune compétence technique, seulement une réponse précise.
Le test a-t-il été figé avant la mesure ? Un banc d'essai qu'on ajuste après avoir vu son score ne mesure plus rien. La date de gel doit être antérieure au premier chiffre, et vérifiable.
Les sorties brutes sont-elles publiées ? Pas le tableau de scores : ce que le modèle a réellement produit, cas par cas. C'est la seule façon de recompter soi-même, et de constater les cas ratés.
Un tiers peut-il refaire le calcul ? Le scoreur, les données et l'environnement doivent être publics et épinglés en version. Sinon vous ne pouvez que croire.
Publient-ils ce qui a raté ? C'est le signal le plus difficile à falsifier. Qui ne montre que des réussites a soit une chance insolente, soit un tiroir.
Figé avant la mesure. Notre juge compte 82 cas construits sur les schémas d'outils réels de Gungnir. Le fichier n'a pas bougé depuis la première évaluation : aucun cas n'a été ajouté ni retiré après avoir vu un score. Les labels sont mécaniques, dérivés du schéma de l'outil et non du jugement d'un modèle. Et l'anti-fuite est structurel : 17 cas sont écrits à la main, les 65 autres ont été générés par un modèle d'une autre famille que celui qui a produit les données d'entraînement, puis relus, avec rejet automatique de toute requête trop proche du jeu d'entraînement.
Sorties brutes publiées. Les générations de tous les runs sont dans le dépôt du banc, y compris celles qui nous desservent. Vous pouvez lire ce que le modèle a répondu, cas par cas, et recompter.
Reproductible, et pas seulement en principe. La chaîne est déterministe de bout en bout. Nous avons refait l'entraînement complet puis l'évaluation sur une seconde machine : mêmes scores, et les 164 générations identiques caractère par caractère, les deux états entraînés partageant la même empreinte SHA-256. Ce n'est donc pas une moyenne avec sa marge d'erreur, c'est un point exact que quiconque peut recalculer.
Échecs publiés. Section suivante, parce qu'elle mérite d'être lue en entier.
La tâche : choisir le bon outil parmi 231 et remplir ses arguments, sans en inventer, et ne rien appeler quand il ne faut rien appeler. C'est le cœur du métier d'un assistant d'entreprise.
| Système | Score sur 82 | Coût d'entraînement |
|---|---|---|
| RWKV 2,9B, sans entraînement | 28 | néant |
| RWKV 2,9B state-tuné | 58 à 61 | 0,53 $ |
| RWKV 7,2B state-tuné | 69 | environ 3 $ |
| Qwen3-30B cloud, configuration de production | 58 | sans objet |
| Qwen3-30B cloud, avec notre échafaudage | 71 | sans objet |
Lecture honnête des deux dernières lignes : notre modèle local de 7,2 milliards de paramètres bat le modèle cloud de 30 milliards dans la configuration où un opérateur l'utilise vraiment, et reste deux points derrière quand on prête au cloud notre propre présélection d'outils. Les deux chiffres sont publiés, parce que ne montrer que le premier serait exactement le procédé que cette page dénonce.
Le détail complet est dans les deux papiers : la parité atteinte pour 53 centimes d'entraînement, puis le plafond, sa cartographie et la variable qui le fait tomber. Le retriever qui rend le pipeline local possible a lui aussi son article : un embedder de 144 M affiné pour zéro euro.
Le même protocole s'applique à nos chantiers en cours. Sur Verdandi, où un modèle réécrit ses propres poids, mesurer que l'identité survit demande d'abord de savoir ce qui est du bruit : deux réponses du même modèle au même prompt peuvent être quasi orthogonales, et un garde-fou posé dessus se déclencherait au hasard.
Cette section est la raison d'être de la page. Elle est publiée avec le même niveau de détail que les réussites, générations brutes comprises.
Aucun de ces quatre résultats ne nous arrange. Ils sont ici parce qu'un résultat sans ses échecs est une publicité, pas un résultat.
Le dépôt du banc contient le juge de 82 cas, les schémas des 231 outils, les scripts d'évaluation et de scoring, les générations brutes de tous les runs, les courbes d'entraînement, les recettes machine par machine, le code de la boucle RL et les empreintes SHA-256 des modèles et des états entraînés. L'environnement est épinglé en version.
Recompter un score annoncé ne demande ni GPU ni compte : les générations et le scoreur suffisent, et l'opération prend une dizaine de minutes.
Si vous trouvez une erreur dans la méthode ou dans les chiffres, écrivez. C'est exactement pour ça que tout est publié, et la correction sera publique.
