L'IA calcule juste, mais sait-elle le prouver ? Notre benchmark sur les chiffres comptables

Une méthode durcie, conçue pour être incontestable

La force d'un benchmark tient à une chose : pouvoir le rejouer. Nous l'avons durci sur tous les axes, jusqu'à le faire tourner sur une vraie balance plutôt que sur des cas d'école.

• Vérité terrain déterministe : chaque valeur attendue est recalculée en Python, puis recoupée avec les sous-totaux du connecteur comptable, au centime.
• Notation stricte : la réponse est lue de façon isolée et doit correspondre exactement, pas seulement apparaître quelque part dans le texte.
• Cas réels et de masse : une vraie balance de 575 M€, 101 comptes au centime, en plus des dossiers synthétiques durcis.
• Constance mesurée : chaque calcul rejoué plusieurs fois, pour distinguer un modèle juste d'un modèle qui tombe juste par hasard.
• Usage réaliste : calcul de tête, sans exécution de code, comme un assistant interrogé en cabinet.

Le calcul n'est plus le problème. La preuve, oui.

Sur nos tests, les modèles de raisonnement ne se trompent plus sur l'arithmétique de masse : 575 millions sommés au centime, de tête, sans une erreur ni une variation d'un essai à l'autre. L'ancienne peur, l'IA qui rate un total, n'est largement plus le bon procès à faire aux grands modèles de raisonnement.

Le risque a simplement changé de nature. Un système génératif produit un chiffre, il ne le démontre pas. Même juste, ce chiffre n'est pas tracé (quelle ligne vient d'une source, laquelle d'une estimation ?), pas garanti reproductible à l'identique, pas opposable à un réviseur ou à un contrôle. Pour un cabinet, un chiffre juste mais improuvable reste un chiffre que l'on ne peut pas signer.

Ce que change une couche de preuve, et pourquoi la souveraineté n'a plus de prix à payer

C'est le rôle de PennyPilot, édité par HOLCO. Les agrégats sensibles (totaux, équilibre, résultat, TVA) sont calculés de façon déterministe à partir des données Pennylane ou Odoo, puis chaque chiffre est tracé jusqu'à sa source. L'IA travaille alors sur des chiffres déjà vérifiés, et sa sortie devient reproductible et opposable.

Conséquence directe sur le choix du modèle : dès lors que la justesse du chiffre est garantie par la couche déterministe, elle ne dépend plus du modèle sous-jacent. Choisir une IA souveraine pour protéger les données du cabinet ne coûte donc plus rien en fiabilité. La souveraineté redevient un pur levier, sans arbitrage contre l'exactitude.

• Calcul déterministe des agrégats avant toute interprétation par l'IA.
• Provenance par ligne : chaque chiffre est relié à sa source, ou signalé comme estimation.
• Sortie reproductible et opposable, tracée par utilisateur et par dossier.
• Justesse indépendante du modèle : la voie souveraine ne se paie plus en fiabilité.

Transparence et limites

Nous disons nos limites nous-mêmes. Ces résultats valent pour les modèles de raisonnement testés, en calcul de tête, sur des dossiers synthétiques durcis et une première vraie balance ; nous les élargirons à d'autres dossiers de cabinet anonymisés, dont seuls les écarts seront publiés, jamais les données. Un modèle peut aussi progresser ou changer à la prochaine version : c'est précisément pourquoi notre thèse ne repose pas sur la performance d'un modèle, mais sur la preuve, qui, elle, ne se périme pas. La méthode et l'oracle restent à disposition de tout cabinet qui veut rejouer le test.