Le chiffre est-il juste ?
Numeric correctness
Recalculer totaux, formules, signes, unités, mappings et périodes avec des assertions déterministes.
Contrôle qualité des agents IA Finance
Comment savoir si votre agent Finance travaille correctement ?
Un reporting plausible ne suffit pas. Le DAF doit pouvoir démontrer que l’agent a utilisé le bon chiffre, la bonne source, la bonne période et la bonne règle, puis retrouver les cas qui exigent son arbitrage.
La grille du DAF
Six questions avant de déléguer un workflow.
La question métier vient d’abord. Le terme technique sert ensuite à construire un contrôle reproductible.
Provient-il de la bonne donnée ?
Source & provenance
Vérifier le dossier, la version, la fraîcheur, la période et la pièce effectivement utilisée.
L’agent a-t-il appliqué notre règle ?
Rule compliance
Comparer la sortie aux seuils, conventions de reporting, règles groupe et exceptions validées.
A-t-il exécuté tous les contrôles ?
Completeness
Mesurer les contrôles prévus, réussis, échoués et non exécutés. Tester aussi les silences.
Son explication est-elle exploitable ?
Analysis quality
Évaluer la clarté et la reconnaissance de l’incertitude après les vérifications factuelles.
Que se passe-t-il après une modification ?
Non-régression
Rejouer les cas de référence après un changement de modèle, de prompt, de source ou de règle.
Méthode de contrôle
Déterministe quand c’est possible. IA quand c’est nécessaire. Humain quand c’est engageant.
01
Le code vérifie
Montants, dates, périodes, formules, rapprochements, présence des sources et contrôles obligatoires.
02
L’IA évalue
Pertinence d’une explication, cohérence narrative et reconnaissance de l’incertitude, sur une grille bornée.
03
Le professionnel tranche
Règles contradictoires, source manquante, forte matérialité, cas nouveau ou décision engageante.
Approfondir
Du risque Finance au terme technique.
Pourquoi évaluer l’IA en finance
Alertes, silences et faux négatifs.
Lire le guide →Evals et golden set Finance
Construire des cas de référence validés.
Lire le guide →Traces, spans et analyse d’erreur
Reconstituer ce que l’agent a réellement fait.
Lire le guide →Groundedness et hallucinations
Relier chaque affirmation à sa preuve.
Lire le guide →Quand utiliser un juge LLM
Réserver l’IA aux critères subjectifs.
Lire le guide →Validation par l’expert-comptable
Transformer les arbitrages en tests rejouables.
Lire le guide →Questions fréquentes des directions financières
Comment un DAF peut-il vérifier la fiabilité d’un agent IA ?
En séparant les contrôles déterministes des évaluations subjectives, puis en comparant les sorties à des cas de référence validés. Le dispositif doit tester les chiffres, les sources, les règles, les contrôles omis et les cas qui exigent une validation humaine.
Un score global de fiabilité suffit-il ?
Non. Une note moyenne peut masquer une erreur grave ou un contrôle non exécuté. Des états explicites comme PASS, REVIEW et FAIL doivent rester reliés au critère, à la preuve et au périmètre évalué.
Qu’est-ce qu’un golden set en finance ?
C’est un jeu versionné de cas financiers dont les entrées, les attendus, les sources et les règles ont été validés. Il sert à rejouer les évaluations et à détecter les régressions connues.
Faut-il une deuxième IA pour contrôler la première ?
Pas pour vérifier un total, une période ou une formule. Ces propriétés doivent être testées par du code. Un juge LLM peut intervenir sur une qualité résiduelle, comme la clarté d’une explication, après calibration humaine.
Quels workflows Finance faut-il contrôler en premier ?
Commencez par un workflow historique, fréquent et vérifiable : reporting mensuel, réel contre budget, rolling forecast, contrôle de formules ou analyse d’écarts. Quelques périodes validées permettent de construire les premiers cas.