Evals et golden set : tester l'IA sur vos cas de finance

Une entrée, un attendu, une règle de réussite

Une eval n'est pas seulement une question posée à l'IA. Elle précise les données disponibles, le travail demandé et la façon de décider si le résultat convient. Le golden set rassemble des cas de référence dont les attendus ont été établis et validés.

L'analogie avec les tests unitaires est utile, mais incomplète. Un test peut vérifier un calcul isolé ; un autre doit suivre tout le parcours, du choix du dossier à la réponse finale. Un total exact sur une mauvaise période reste une mauvaise réponse.

Exemple fictif : une période incomplète

Imaginons un contrôle de récurrence. Les mois précédents sont disponibles, mais la lecture du dernier mois échoue. L'attendu n'est pas « charge absente ». C'est « contrôle incomplet, mois à relire ».

Construisez ensuite un second cas avec un dernier mois réellement lu et un montant nul. Les deux entrées doivent produire des états distincts. Une assertion peut vérifier cette différence sans demander son avis à un autre modèle.

Ajoutez une variante de date et de dossier : la conclusion ne doit pas reprendre une donnée mise en cache pour un autre périmètre. Ces exemples sont synthétiques, pas des résultats mesurés chez un client.

Ce qu'il faut figer pour rejouer

Conservez le dossier et la période, la date de connaissance, les données minimales autorisées, les versions du contexte et des règles, le résultat attendu et son validateur. Une référence à un document actuel ne suffit pas à reconstruire ce qui était disponible lors de la revue.

Une pièce arrivée après le contrôle crée un autre cas. Elle ne doit pas améliorer rétroactivement les informations que l'agent était censé posséder. Un test historique garde sa règle d'époque ; son succès ne prouve pas que la règle actuelle est couverte.

Les cas réels demandent un cadre d'accès et de conservation adapté. Pour les défauts techniques, commencer avec des données synthétiques évite une collecte client inutile.

Le jeu de référence doit pouvoir vous contredire

Incluez des alertes, des silences, des suppressions par exception et des indisponibilités. Partez aussi des anomalies trouvées par le réviseur pour rechercher les contrôles absents du catalogue. Distinguez une lacune du périmètre promis d'un besoin réellement hors périmètre.

Les incidents corrigés sont utiles à la non-régression. Ils ne constituent pas un échantillon indépendant de la qualité générale. Gardez un lot non utilisé pour ajuster la solution, et indiquez quels attendus ont été rédigés après avoir vu la réponse.

Un vert doit dire précisément ce qui a réussi

Séparez réussi, échoué, non exécuté et non conclusif. Une campagne ne peut pas gagner des points en omettant ses cas difficiles. Présentez le nombre de contrôles prévus et réellement exécutés, les omissions et leur gravité.

Un changement de code, de modèle, de prompt, de source ou de règle peut déclencher un rejeu du périmètre affecté. Si le comportement varie, définissez avant la campagne les répétitions et la manière de les agréger ; un essai favorable ne suffit pas à démontrer la stabilité.

Chez HOLCO, ces principes structurent le playbook d'évaluation formalisé en septembre 2026. Ils ne valent pas annonce d'un golden set déjà validé par un cabinet ou intégralement exécuté en production.