Ein klarer Sieg beim richtigen Code.
Wir haben Claude Code fünf Entwicklungsaufgaben gegeben, die von Teamregeln außerhalb des Codes abhängen, mit und ohne Mios. Mit Mios war die erste Antwort in etwa der Hälfte der Läufe ganz richtig (5 von 11), ohne Mios in keinem von 41. Bis zum richtigen Code brauchte es fast halb so viele Prompts, bei Gesamtkosten nahe an Claude Code allein.
Läufe vom 12. und 13. November 2026 · Mios-Build vom 12. November, Commit 251d8392 · Claude Sonnet 5.5
Wie wir gemessen haben.
- 01Fünf echte Entwicklungsaufgaben
Fünf Features im Repository eines SaaS-Produkts, das produktiv läuft. Jedes berührt mehrere Dateien und hängt sich in bestehenden Code: Route, Controller, Service, Test und Doku. Der Agent bekommt das Ticket und sonst nichts.
- 02Versteckte Tests
Der Agent sieht die Tests nie, die ihn bewerten; sie werden erst zur Bewertung hineinkopiert. Eine Prüfung pro Aufgabe für das Feature selbst, eine pro Teamregel, insgesamt 24 Prüfungen. Kein Modell ist an der Bewertung beteiligt.
- 03Regeln außerhalb des Codes
Jede Aufgabe hängt von Regeln ab, die das Team im Chat, in geteilten Dokumenten und im Messenger festgehalten hat. 11 davon stehen nirgends im Repository: Ein Agent befolgt sie nur, wenn ihm etwas sie liefert.
- 04Fünf Setups, ein Modell
Claude Code allein, mit Obsidian auf der Doku des Repositorys, mit Graphify auf dem Repository, mit beidem und mit Mios. Alle laufen mit Claude Sonnet 5.5 auf demselben Klon, mit demselben Ticket und demselben Zeitlimit.
- 05Zwei Läufe pro Zelle
Zwei Läufe pro Aufgabe und Setup. Bei der einzigen Aufgabe, bei der sich die zwei Läufe widersprachen, ein dritter für Mios und für das beste andere Setup.
- 06Dasselbe Review für alle
Fällt die erste Antwort bei einem Test durch, bekommt dieselbe Sitzung einen Review-Kommentar zu den fehlgeschlagenen Teilen, Wort für Wort gleich für jedes Setup. Ab dem fünften Prompt nennt er auch die fehlende Regel und zeigt die fehlgeschlagenen Tests, sodass jedes Setup mit richtigem Code endet. Höchstens 8 Prompts.
- 07Messlatten vorher festgelegt
Was als Sieg zählt und was als Rauschen, stand vor dem ersten Lauf fest. Zwei Dinge haben sich unterwegs geändert, beide unten bei den Grenzen aufgeführt: Die Obergrenze stieg von 4 auf 8 Prompts, und die Korrekturrunden werden pro Aufgabe statt pro Lauf gezählt.
Ein Prompt, die erste Antwort.
Was jedes Setup nach dem Ticket allein zurückgibt. Zeit und Kosten sind Mediane pro Aufgabe. Kosten heißt: was Claude Code ausgibt, bei Mios zusätzlich der Mios-Server.
| Setup | Ganz richtig | Bestandene Prüfungen | Befolgte Regeln außerhalb des Repos | Zeit | Kosten |
|---|---|---|---|---|---|
| Claude Code alleindas Ticket und das Repository | 0 von 10 Läufen | 23 %5,5 von 24 | 0 von 11 | 90 s | 0,266 $ |
| + Obsidiandie Doku des Repositorys als Notizen | 0 von 11 Läufen | 40 %9,5 von 24 | 0,5 von 11 | 110 s | 0,279 $ |
| + Graphifyein Graph des Repositorys | 0 von 10 Läufen | 33 %8 von 24 | 0 von 11 | 97 s | 0,300 $ |
| + Obsidian und Graphifybeides zusammen | 0 von 10 Läufen | 33 %8 von 24 | 0 von 11 | 111 s | 0,299 $ |
| + Miosdas Gedächtnis des Teams über MCP | 5 von 11 Läufen | 84 %20,2 von 24 | 9,3 von 11 | 108 s | 0,395 $ |
Befolgte Regeln außerhalb des Repos: Durchschnitt über die Läufe, von den 11 Regeln, die nirgends im Repository stehen. Gegenüber Claude Code allein kostet die erste Antwort mit Mios 48 % mehr pro Aufgabe und dauert 19 % länger. Nach unseren Messlatten ist der Zeitunterschied Rauschen, der Kostenunterschied nicht.
Bis der Code stimmt.
Jedes Setup endete mit allen Tests grün. Hier steht, was es dafür brauchte, für die fünf Aufgaben, jede einmal erledigt: das, was ein Team bezahlt. Unter jeder Zahl der Abstand zu Claude Code allein.
| Setup | Prompts | Zeit | Tokens Claude Code | Kosten Claude Code | Kosten Mios-Server | Gesamtkosten |
|---|---|---|---|---|---|---|
| Claude Code alleindas Ticket und das Repository | 16,5Referenz | 954 sReferenz | Referenz | 2,241 $Referenz | kein Server | 2,241 $Referenz |
| + Obsidiandie Doku des Repositorys als Notizen | 17,5+6 % | 1.029 s+8 % | +10 % | 2,352 $+5 % | kein Server | 2,352 $+5 % |
| + Graphifyein Graph des Repositorys | 17+3 % | 1.064 s+12 % | +9 % | 2,330 $+4 % | kein Server | 2,330 $+4 % |
| + Obsidian und Graphifybeides zusammen | 17+3 % | 1.055 s+11 % | +17 % | 2,423 $+8 % | kein Server | 2,423 $+8 % |
| + Miosdas Gedächtnis des Teams über MCP | 9−45 % | 675 s−29 % | −18 % | 2,034 $−9 % | 0,436 $ | 2,471 $+10 % |
Tokens und Kosten von Claude Code stammen aus jeder Sitzung. Die Kosten des Mios-Servers sind die Modellaufrufe, die der Mios-Server gemacht hat, gemessen; die anderen Setups rufen keinen Server auf. Pro Aufgabe sagt der Median dasselbe: 1,5 Prompts für Mios gegenüber 3 für Claude Code allein, 132 s gegenüber 184 s und 0,404 $ gegenüber 0,403 $ Gesamtkosten.
Wo es hilft, was es kostet.
Wo Mios hilft
- Richtiger Code. Bei der ersten Antwort bestand Mios 84 % der Prüfungen (20,2 von 24). Das beste andere Setup, mit Obsidian, 40 %. Mios befolgte im Schnitt 9,3 der 11 Regeln außerhalb des Repos; kein anderes Setup mehr als 0,5.
- Weniger Runden. 9 Prompts für die fünf Aufgaben, gegenüber 16,5 für Claude Code allein: 45 % weniger.
- Weniger Zeit. 675 s bis zum richtigen Code, gegenüber 954 s für Claude Code allein: 29 % weniger.
Was es kostet
- Die erste Antwort kostet mehr: 0,395 $ pro Aufgabe gegenüber 0,266 $ für Claude Code allein, im Median 48 % mehr.
- Bis zum richtigen Code gibt Claude Code selbst mit Mios 9 % weniger aus. Mit dem Mios-Server liegt die Summe 10 % höher: 2,471 $ gegenüber 2,241 $ für die fünf Aufgaben.
- 98 % der Serverkosten entfallen auf den Edit-Wächter, eine Prüfung auf Claude Sonnet, bevor der Agent schreibt. Dort geht das Geld hin, und genau das müssen wir günstiger machen.
Ein klarer Sieg beim richtigen Code. Mit Mios war fast die Hälfte der ersten Antworten (5 von 11) vollständig korrekt, bei allen anderen Setups keine. Bis zum korrekten Code brauchte es 45 % weniger Prompts und 29 % weniger Zeit. Die Kosten liegen gleichauf, noch nicht darunter: Bis zum korrekten Code gibt Claude Code selbst mit Mios 9 % weniger aus, und der Mios-Server bringt die Summe auf 10 % mehr als Claude Code allein, innerhalb der 25 % Rauschen, die wir vor den Läufen festgelegt haben.
Was dieser Benchmark nicht zeigt.
- 01Kurze Aufgaben
Eine erste Antwort dauerte im Median 90 bis 110 s, richtiger Code 2 bis 4 Minuten. Lange Aufgaben wurden nicht gemessen.
- 02Auf denselben Quellen abgestimmt
Der Großteil des Abstands stammt aus Aufgaben, deren Quellgespräche zum Abstimmen von Mios dienten: Drei Aufgaben tragen 13,5 der 14,7 Punkte Abstand zwischen Mios und Claude Code allein. Der Benchmark zeigt, dass Mios gut liefert, was es gut aufgenommen hat. Er zeigt nicht, dass die Aufnahme bei nie gesehenen Gesprächen funktioniert.
- 03Wenige Läufe
Ein bis drei Läufe pro Zelle. Ein Kosten- oder Zeitunterschied unter 25 % ist Rauschen und entscheidet nichts.
- 04Was Mios verpasst
Mios verpasst bei einer Aufgabe in jedem Lauf eine Regel, und bei einer anderen schwankt das Ergebnis von Lauf zu Lauf. Wir wissen noch nicht, ob es die Regel nicht findet, oder ob es sie findet und der Agent ihr nicht folgt.
- 0511 Regeln, nicht 13
Zwei der 13 Regeln außerhalb des Repositorys trennen die Setups nicht: Die eine besteht in jedem Lauf, Claude Code allein eingeschlossen, die andere lässt sich über Daten erreichen, die schon im Repository liegen. Wir zählen die 11, die trennen.
- 06Obergrenze mitten im Benchmark geändert
Die Obergrenze für Prompts stieg während des Benchmarks von 4 auf 8, und jeder Lauf behält seine eigene. Mit der ursprünglichen Grenze von 4 ändert sich der Median der Prompts nicht. Nach einer externen Prüfung werden die Korrekturrunden pro Aufgabe gezählt, jede Aufgabe einmal, statt pro Lauf; das Urteil ist in beiden Fällen gleich.
Läufe vom 12. und 13. November 2026. Gemessen wurde der Mios-Build vom 12. November 2026, Commit 251d8392. Claude Sonnet 5.5 für jedes Setup. Auf dieser Seite steht nur, was wir selbst gemessen haben, keine Zahlen anderer Anbieter. Mios im Vergleich, Funktion für Funktion
Geben Sie Ihrem Team ein Gedächtnis.
Ihre Leute fragen es. Ihre Agenten lesen es, bevor sie etwas ändern.
Mios öffnet sich zuerst für einige Teams. Buchen Sie ein Gespräch, und wir holen Ihres dazu.