Groundedness : un chiffre cité n'est pas un chiffre prouvé

Trois propriétés à ne pas confondre

La traçabilité permet de retrouver une origine. La groundedness demande si cette origine soutient réellement l'affirmation. L'exactitude demande si le fait ou le calcul est correct. Une source peut elle-même être incomplète ou erronée.

Il faut encore ajouter la couverture : une réponse peut être juste et bien ancrée sur les comptes lus, tout en omettant une partie du dossier. Ni un lien ni un pourcentage d'affirmations sourcées ne prouve l'exhaustivité de la revue.

Une convention de mesure explicite

Pour un lot de réponses, on peut proposer la proportion d'affirmations vérifiables effectivement soutenues par les sources. Le numérateur compte les affirmations validées ; le dénominateur inclut toutes les affirmations vérifiables du périmètre, y compris celles sans source.

Il s'agit d'une convention à définir avant la campagne, pas d'une échelle universelle. Précisez comment une affirmation est découpée et comment les calculs, hypothèses et formulations incertaines sont traités. Sans affirmation vérifiable, le résultat est non applicable, pas automatiquement parfait.

Exemple entièrement fictif : huit affirmations soutenues sur dix donnent 80 % selon cette convention. Les deux autres peuvent être les plus importantes. Affichez donc aussi leur nature et leur gravité, plutôt que de conclure que la réponse est acceptable grâce à sa moyenne.

Relier chaque chiffre à sa preuve

Une affirmation quantitative doit préciser valeur, unité, dossier, période et référence de preuve. Un montant dérivé demande les données de départ et une formule reproductible. Un lien vers une documentation générale ne suffit pas à démontrer le résultat d'un dossier.

Une vérification déterministe peut comparer ces champs aux données validées. La simple présence du même nombre dans un document est trop faible : le nombre peut désigner une autre période ou une autre grandeur.

Pour une conclusion qui n'est pas réductible à ces contrôles, il faut décrire ce que la source établit et ce qui reste une interprétation. Le jugement humain ne doit pas être dissimulé dans une phrase présentée comme un fait.

Les hallucinations ne se traitent pas par un changement de modèle seul

Une hallucination est une affirmation générée fausse ou non étayée. Certaines erreurs plausibles viennent aussi du reste du système : mauvais filtre, cache incomplet, transformation de données ou règle périmée. Les appeler toutes « problème de modèle » empêche de corriger la bonne étape.

Un meilleur modèle peut réduire certaines erreurs. Il ne répare pas une mauvaise période dans l'appel d'outil. La prévention combine sources pertinentes, calculs vérifiés, limites explicites et évaluations sur les échecs rencontrés.

Ce qu'un cabinet peut demander comme preuve

Demandez un exemple de chiffre remonté jusqu'à sa source, un exemple de réponse refusée faute d'information et une liste des contrôles réellement exécutés. Demandez aussi comment les affirmations sans preuve sont détectées avant restitution.

Le playbook HOLCO formalise ces exigences de mesure. Cet article ne publie ni taux réel de groundedness ni garantie d'absence d'hallucinations. Un tel résultat doit être accompagné du jeu de cas, de ses versions, de sa date et de ses limites.

Source citée, calcul reproduit, pièce manquante : trois cas différents

Exemple fictif : un rapport indique 12 400 euros et renvoie vers un classeur. Retrouver les cellules de 4 000, 3 600 et 4 800 euros et refaire leur somme constitue une preuve plus précise qu’un lien vers le fichier entier. Il faut encore vérifier que ces lignes correspondent à l’entité et à la période annoncées.

La même méthode ne prouve pas une date de mise en service qui ne figure dans aucune pièce transmise. Le contrôle doit alors exprimer une limite documentaire. Dans un dossier de révision, l’absence de preuve appelle une recherche ou un arbitrage, pas une citation de substitution. L’exemple explique la méthode ; il ne mesure pas la performance de HOLCO.