Offen geprüft
Open-Source-Benchmarks
Wie gut bucht Bilanzo? Treuhandbüros lassen jede Fassung von Bilanzo am Bilanzo-Referenzsatz laufen: Testbelege mit Sollwerten, die aus dem Gesetzestext hergeleitet sind (Quelle je Fall angegeben). Herausgegeben von Bilanzo, nicht von einer Behörde. Die Belege sind erfunden, aber realistisch, die Buchung ist von Hand gerechnet. Nur dieser Prüfsatz zählt, damit alle Läufe vergleichbar sind. Hier steht, was dabei herauskommt, auch wenn es nicht gut aussieht.
Bilanzo-Grundtest: Sprachmodelle im Vergleich
Messung von Bilanzo vom 2. November 2026, nicht von Treuhandbüros bestätigt. 420 Buchhaltungsfälle in 13 Klassen, für alle Teilnehmer dieselben Aufgaben und dieselben Hilfsmittel.
Stufe 1: reine Modellwerte
Jedes Modell löst die Aufgaben allein. Es bekommt die Aufgaben und die Hilfsmittel (zum Beispiel Devisenkurse, Steuersätze und Merkblätter), aber keinen Wissensgraphen und keinen Zugang zu einer Buchhaltung. Gezählt wird, wie viele Fälle streng richtig sind.
Claude Opus 5.5
80,2 %
337 von 420 Fällen streng richtig
Claude Fable 5.1
75,5 %
317 von 420 Fällen streng richtig
- Bilanzo-Modell 1.1.0: nicht bewertbar, Antworten leer oder in anderem Format (Ursache gefunden, Neumessung folgt).
- Basismodell 7B: bei der Belegkontierung im Alltag 0 von 60.
| Klasse | Fälle | Claude Opus 5.5 | Claude Fable 5.1 |
|---|---|---|---|
| Belegkontierung im Alltag | 60 | 58 | 58 |
| Fälle in mehreren Schritten | 30 | 21 | 18 |
| Nicht buchbare Belege | 30 | 30 | 29 |
| Abschreibungen | 30 | 27 | 28 |
| Lohn und Sozialversicherungen | 30 | 30 | 29 |
| Lohn: BVG und Quellensteuer | 30 | 30 | 30 |
| Abschluss: Abgrenzungen | 30 | 27 | 28 |
| MWST: gemischte Sätze | 30 | 25 | 23 |
| Fremdwährung | 30 | 26 | 15 |
| MWST: Ort der Leistung und Bezugsteuer | 30 | 8 | 6 |
| MWST: Saldo- und Pauschalsteuersatz | 30 | 2 | 3 |
| Abschluss: Bewertung | 30 | 29 | 27 |
| Gesellschaftsrecht und Verrechnungssteuer | 30 | 24 | 23 |
| Gesamt | 420 | 337 80,2 % |
317 75,5 % |
So wurde gemessen
- 13 Klassen, 420 Fälle, Lauf vom 2. November 2026.
- Aufgaben und Sollwerte wurden vor dem ersten Lauf eingefroren und mit SHA-256 versiegelt. Die Sollwerte wurden in einer Blindprüfung gegengerechnet: Die Prüfer lösten die Fälle zuerst selbst, ohne die Sollwerte zu sehen.
- Bewertet wird streng nach der eingefrorenen Satzregel, durch ein festes Programm und nicht durch ein Sprachmodell. Vor der Bewertung bestand jede der 13 Klassen eine Gegenprobe: Die Sollwerte als Antwort ergeben volle Punkte, eine absichtlich verfälschte Antwort genau die eingebauten Fehler.
Bekannte Unschärfen
Der Satz führt die MWST-Ziffer 200 bei der effektiven Methode mit, bei der Saldosteuersatzmethode nicht. Nennt ein Modell die Ziffer 200 zusätzlich oder lässt es sie weg, ist der Fall streng falsch. Massgebend ist die strenge Zahl. Die zweite Zahl zeigt nur, wie gross die Unschärfe ist, wenn die Ziffer 200 nicht zählt.
| Klasse | Modell | Streng (massgebend) | Ohne Ziffer 200 |
|---|---|---|---|
| MWST: Saldo- und Pauschalsteuersatz | Claude Opus 5.5 | 2 von 30 | 21 von 30 |
| MWST: Saldo- und Pauschalsteuersatz | Claude Fable 5.1 | 3 von 30 | 17 von 30 |
| MWST: Ort der Leistung und Bezugsteuer | Claude Opus 5.5 | 8 von 30 | 17 von 30 |
| MWST: Ort der Leistung und Bezugsteuer | Claude Fable 5.1 | 6 von 30 | 12 von 30 |
Stufe 2: Bilanzo mit Wissensgraph
Hier wird nachgeholfen: Bilanzo arbeitet mit dem Wissensgraphen der Firma Mediaquotes Jones Schibli. Diese Werte sind deshalb nicht mit Stufe 1 gleichzusetzen.
Noch nicht gemessen, folgt nach dem Training.
Claude ist eine Marke von Anthropic. Anthropic und Bilanzo stehen in keiner Partnerschaft.
Aktueller Stand
Noch kein bestätigter Lauf.
Bis ein Treuhandbüro einen Lauf auf dem Bilanzo-Referenzsatz übermittelt und ihm zugestimmt hat, zeigen wir hier keine Zahlen und keinen Badge. Unbestätigte Läufe stehen im Verlauf weiter unten, sobald es welche gibt.
Was geprüft wird
Je Beleg vergleicht der Benchmark Konto, Gegenkonto, MWST-Code, Betrag und Periode mit der von Hand gerechneten Buchung des Bilanzo-Referenzsatzes. Belege, bei denen Bilanzo ablehnen oder nachfragen soll, zählen als richtig, wenn Bilanzo ablehnt oder nachfragt. Bucht Bilanzo im Automodus einen Beleg ohne freigegebene Wissenskette, ist der ganze Lauf nicht bestanden.
Die Fallklassen des Bilanzo-Referenzsatzes sind MWST-Normalsatz, reduzierter Satz, Beherbergung, Belege mit zwei Sätzen, Saldosteuersatz, Fremdwährung, Gutschrift, Teilzahlung, Investition und Fälle, die richtig angehalten werden. Je Klasse gibt es eine Schwelle; eine Klasse ist bestanden, wenn ihre Quote die Schwelle erreicht.
Wer prüft
Treuhandbüros, die den Bilanzo-Referenzsatz in ihrer eigenen Installation laufen lassen. Prüfsatz, Fallklassen, Gewichte und Schwellen sind festgelegt und für alle gleich; jede Fassung trägt eine Prüfsumme. Ein Lauf gilt erst als bestätigt, wenn das Treuhandbüro das Ergebnis geprüft und der Übermittlung ausdrücklich zugestimmt hat. Jeder Lauf steht mit Prüfsumme in einem Verlauf, an den sich nur anhängen lässt.
So machen Sie mit
- Sie installieren Bilanzo; der Bilanzo-Referenzsatz ist darin enthalten.
- Nach jedem Update starten Sie den Lauf in den Einstellungen unter Benchmark. Er läuft auf Ihrem Rechner, und nichts wird gebucht.
- Sie prüfen das Ergebnis im Bericht Beleg für Beleg und schicken es nach Ihrer Zustimmung als Datei per E-Mail an uns. Erst dann erscheint es hier.
Belege Ihrer Mandanten verlassen Ihre Installation nie. Einen Lauf auf eigenen Belegen können Sie lokal machen; er bleibt bei Ihnen, ohne Badge und ohne Veröffentlichung.
Als Treuhandbüro mitmachen Das öffentliche Repository mit Werkzeug und Regeln wird hier verlinkt, sobald es freigeschaltet ist.
Ohne Gewähr
Die Ergebnisse auf dieser Seite sind ohne Gewähr. Sie zeigen, wie eine bestimmte Fassung von Bilanzo den Bilanzo-Referenzsatz in der Installation einzelner Treuhandbüros zum angegebenen Zeitpunkt gebucht hat. Sie sind keine Zusicherung für Ihre Buchhaltung und ersetzen keine fachliche Prüfung. Die prüfenden Treuhandbüros stellen ihre Läufe und Bestätigungen freiwillig zur Verfügung und übernehmen dafür keine Haftung. Die Vergleichsmodelle wurden mit denselben Aufgaben und Hilfsmitteln ohne Zugang zu Buchhaltungen geprüft. Anthropic und Bilanzo stehen in keiner Partnerschaft. Die genannten Modelle wurden als öffentlich verfügbare Dienste geprüft.
