Traces, spans : comprendre les erreurs d'une IA financière

Trace et span ne désignent pas la même chose

Dans le vocabulaire du traçage distribué, une trace relie des opérations corrélées. Un span décrit une unité de travail : son identité, ses horaires, son statut et ses attributs. Une lecture d'outil ou une génération peuvent constituer des spans d'un même parcours.

Une ligne de log isolée n'est pas automatiquement une trace complète. Il faut pouvoir relier les opérations entre elles. Inversement, un système bien tracé peut produire une erreur : l'observabilité permet de l'expliquer, elle ne la corrige pas à elle seule.

Ce qui rend une trace utile en finance

Pour notre méthode de revue, l'exécution doit identifier le dossier autorisé, la période demandée, les contrôles prévus, les outils appelés et les résultats de lecture. L'état réussi ou incomplet doit rester visible jusque dans la restitution.

Les tokens et la latence renseignent sur le coût et le temps. Ils ne démontrent pas l'exactitude. Ajoutez le périmètre effectivement reçu, les volumes reconnus ou rejetés, les sources et les versions de règles appliquées.

Une réponse raccourcie pour le modèle demande également une trace de réduction : quelles réserves et sources sont restées disponibles ? Une erreur peut naître entre le résultat correct de l'outil et sa présentation partielle à l'assistant.

Exemple fictif : un résultat exact sur les mauvaises données

Un utilisateur demande une balance complète. Le système réutilise une réponse calculée auparavant sur un seul préfixe de comptes. Le calcul peut être exact pour les lignes reçues et faux pour la demande.

Un journal contenant uniquement le nom de l'outil, un statut 200 et une durée ne permet pas d'établir ce décalage. Relier les arguments normalisés, la portée du cache et la portée du résultat le rend vérifiable.

Le test de non-régression compare alors les réponses avec et sans cache pour plusieurs périmètres et plusieurs ordres d'appel. Le défaut devient reproductible, au lieu d'être attribué à une impression de baisse de qualité du modèle.

L'analyse d'erreur commence à la main

Le réviseur décrit l'erreur métier : période incorrecte, montant non justifié, alerte omise, exception trop large. L'équipe technique retrouve l'étape responsable et distingue donnée absente, donnée mal transformée, règle mal appliquée et conclusion non soutenue.

Il faut parfois revenir à l'attendu lui-même : était-il correct avec les informations réellement disponibles ? Une pièce reçue après la revue ne doit pas devenir une preuve que l'agent aurait dû connaître plus tôt.

La sortie de cette analyse est un cas documenté, un critère de réussite et une correction à tester. Une explication convaincante de l'incident, sans rejeu possible, ne clôture pas le travail.

Tracer n'autorise pas à tout conserver

Les écritures, pièces et identités demandent un cadre d'accès et de conservation. Évitez de recopier tout le dossier dans des logs ou de transmettre les traces brutes à un modèle. Une empreinte ou un identifiant peut servir à la corrélation, mais ne remplace pas une source accessible pour la vérification.

Conservez ce qui permet le diagnostic, dans l'environnement autorisé, avec des droits et des durées définis. Ce guide décrit l'instrumentation à rechercher ; il ne prétend pas que chaque champ est déjà enregistré par HOLCO.