Testé en toute transparence
Benchmarks open source
Bilanzo comptabilise-t-il juste ? Des fiduciaires font tourner chaque version de Bilanzo sur le jeu de référence Bilanzo : des pièces de test avec des valeurs attendues dérivées du texte de loi (source indiquée pour chaque cas). Publié par Bilanzo, et non par une autorité. Les pièces sont inventées mais réalistes, l’écriture est calculée à la main. Seul ce jeu de test compte, pour que tous les passages soient comparables. Cette page montre le résultat, même lorsqu’il n’est pas bon.
Test de base Bilanzo : modèles de langage comparés
Mesure effectuée par Bilanzo le 2 novembre 2026, non confirmée par des fiduciaires. 420 cas comptables en 13 classes, les mêmes tâches et les mêmes aides pour tous les participants.
Niveau 1 : résultats bruts des modèles
Chaque modèle résout les tâches seul. Il reçoit les tâches et les aides (par exemple cours des devises, taux d’impôt et notices), mais aucun graphe de connaissances et aucun accès à une comptabilité. Nous comptons combien de cas sont strictement justes.
Claude Opus 5.5
80,2 %
337 sur 420 cas strictement justes
Claude Fable 5.1
75,5 %
317 sur 420 cas strictement justes
- Modèle Bilanzo 1.1.0 : non évaluable, réponses vides ou dans un autre format (cause trouvée, nouvelle mesure à venir).
- Modèle de base 7B : imputation des pièces courantes 0 sur 60.
| Classe | Cas | Claude Opus 5.5 | Claude Fable 5.1 |
|---|---|---|---|
| Imputation des pièces courantes | 60 | 58 | 58 |
| Cas en plusieurs étapes | 30 | 21 | 18 |
| Pièces non comptabilisables | 30 | 30 | 29 |
| Amortissements | 30 | 27 | 28 |
| Salaires et assurances sociales | 30 | 30 | 29 |
| Salaires : LPP et impôt à la source | 30 | 30 | 30 |
| Clôture : régularisations | 30 | 27 | 28 |
| TVA : taux mixtes | 30 | 25 | 23 |
| Monnaies étrangères | 30 | 26 | 15 |
| TVA : lieu de la prestation et impôt sur les acquisitions | 30 | 8 | 6 |
| TVA : taux de la dette fiscale nette et taux forfaitaire | 30 | 2 | 3 |
| Clôture : évaluation | 30 | 29 | 27 |
| Droit des sociétés et impôt anticipé | 30 | 24 | 23 |
| Total | 420 | 337 80,2 % |
317 75,5 % |
Méthode de mesure
- 13 classes, 420 cas, passage du 2 novembre 2026.
- Les tâches et les valeurs attendues ont été gelées avant le premier passage et scellées avec SHA-256. Les valeurs attendues ont été vérifiées à l’aveugle : les contrôleurs ont d’abord résolu les cas eux-mêmes, sans voir les valeurs attendues.
- L’évaluation est stricte, selon la règle gelée du jeu de test, par un programme fixe et non par un modèle de langage. Avant l’évaluation, chacune des 13 classes a passé une contre-épreuve : les valeurs attendues données comme réponse obtiennent tous les points, une réponse volontairement faussée montre exactement les erreurs introduites.
Imprécisions connues
Le jeu de test mentionne le chiffre 200 du décompte TVA avec la méthode effective, mais pas avec la méthode des taux de la dette fiscale nette. Si un modèle ajoute le chiffre 200 ou l’omet, le cas est strictement faux. Le chiffre strict fait foi. Le second chiffre montre seulement l’ampleur de l’imprécision si le chiffre 200 n’est pas compté.
| Classe | Modèle | Strict (fait foi) | Sans chiffre 200 |
|---|---|---|---|
| TVA : taux de la dette fiscale nette et taux forfaitaire | Claude Opus 5.5 | 2 sur 30 | 21 sur 30 |
| TVA : taux de la dette fiscale nette et taux forfaitaire | Claude Fable 5.1 | 3 sur 30 | 17 sur 30 |
| TVA : lieu de la prestation et impôt sur les acquisitions | Claude Opus 5.5 | 8 sur 30 | 17 sur 30 |
| TVA : lieu de la prestation et impôt sur les acquisitions | Claude Fable 5.1 | 6 sur 30 | 12 sur 30 |
Niveau 2 : Bilanzo avec graphe de connaissances
Ici, le produit aide : Bilanzo travaille avec le graphe de connaissances de l’entreprise Mediaquotes Jones Schibli. Ces résultats ne sont donc pas comparables au niveau 1.
Pas encore mesuré, suivra après l’entraînement.
Claude est une marque d’Anthropic. Anthropic et Bilanzo ne sont liés par aucun partenariat.
État actuel
Pas encore de passage confirmé.
Tant qu’une fiduciaire n’a pas transmis un passage sur le jeu de référence Bilanzo en y consentant, nous n’affichons ici ni chiffres ni badge. Les passages non confirmés figurent dans l’historique plus bas dès qu’il y en a.
Ce qui est testé
Pour chaque pièce, le benchmark compare compte, contrepartie, code TVA, montant et période avec l’écriture du jeu de référence Bilanzo, calculée à la main. Les pièces que Bilanzo doit refuser ou pour lesquelles il doit poser une question comptent comme justes si Bilanzo refuse ou demande. Si Bilanzo comptabilise en mode automatique une pièce sans chaîne de connaissances validée, tout le passage échoue.
Les classes de cas du jeu de référence Bilanzo sont le taux normal de TVA, le taux réduit, l’hébergement, les pièces à deux taux, le taux de la dette fiscale nette, la monnaie étrangère, la note de crédit, le paiement partiel, l’investissement et les cas arrêtés à raison. Chaque classe a un seuil ; elle est réussie lorsque son taux atteint ce seuil.
Qui teste
Des fiduciaires qui font tourner le jeu de référence Bilanzo dans leur propre installation. Jeu de test, classes de cas, pondérations et seuils sont fixés et identiques pour tous ; chaque version porte une somme de contrôle. Un passage n’est confirmé que lorsque la fiduciaire a vérifié le résultat et consenti expressément à sa transmission. Chaque passage est consigné avec une somme de contrôle dans un historique auquel on peut seulement ajouter.
Comment participer
- Vous installez Bilanzo ; le jeu de référence Bilanzo y est inclus.
- Après chaque mise à jour, vous lancez le passage dans les réglages sous Benchmark. Il tourne sur votre ordinateur, et rien n’est comptabilisé.
- Vous vérifiez le résultat dans le rapport pièce par pièce et, avec votre consentement, nous l’envoyez sous forme de fichier par e-mail. Il ne figure ici qu’ensuite.
Les pièces de vos clients ne quittent jamais votre installation. Vous pouvez faire un passage sur vos propres pièces en local ; il reste chez vous, sans badge et sans publication.
Participer en tant que fiduciaire Le dépôt public avec l’outil et les règles sera lié ici dès son ouverture.
Sans garantie
Les résultats de cette page sont fournis sans garantie. Ils montrent comment une version précise de Bilanzo a comptabilisé le jeu de référence Bilanzo dans l’installation de fiduciaires individuelles au moment indiqué. Ils ne constituent aucune assurance pour votre comptabilité et ne remplacent pas un contrôle professionnel. Les fiduciaires qui examinent fournissent leurs passages et confirmations à titre volontaire et n’assument aucune responsabilité à cet égard. Les modèles de comparaison ont été testés avec les mêmes tâches et les mêmes aides, sans accès à des comptabilités. Anthropic et Bilanzo ne sont liés par aucun partenariat. Les modèles cités ont été testés en tant que services accessibles au public.
