Unabhängige Tester bewerten das neue Modell Anthropic Claude Opus 5 auf einem Fähigkeitsindex mit 159 Punkten – nur zwei Zähler hinter Claude Fable 5 –, kommen bei der Beurteilung seiner Code-Review-Fähigkeiten aber zu stark divergierenden Ergebnissen.
Zentrale Punkte:
- Epoch AI bewertet Claude Opus 5 mit 159 Punkten auf seinem Capability Index, gegenüber 161 für Claude Fable 5; bei Software-Engineering gelten beide als gleichauf.
- CodeRabbit misst 39,3 % Präzision bei umsetzbaren Review-Kommentaren (Basiswert 35,2 %), verzeichnet aber viermal so viele „Nitpicks“.
- Unternehmenskunden wie Cognition und Zapier berichten von spürbaren Fortschritten beim Debugging und bei End-to-End-Automatisierung.
Frühe Benchmarks von Claude Opus 5 unter genauer Beobachtung
Anthropic hat das Modell am Freitag ausgeliefert und erklärt, Opus 5 komme der „Frontier“-Intelligenz von Fable 5 bei halben Kosten sehr nahe und sei damit eher als Alltagswerkzeug denn als Spezialmodell positioniert. Externe Tester bestätigen diese Einordnung im Grundsatz – streiten aber über die Details.
Epoch AI sieht Opus 5 mit 159 Punkten auf seinem Capability Index nur knapp hinter Fable 5 mit 161 Punkten und bewertet beide Modelle im Bereich Software-Entwicklung als gleichwertig, wie eine Auswertung von Latent Space zeigt.
Artificial Analysis setzt Opus 5 auf seinem Benchmark für „agentische“ Wissensarbeit an die Spitze: Das Modell schlägt Fable 5 um fast 150 Elo-Punkte und senkt zugleich die Kosten pro Aufgabe um 20 %. Einige Entwickler kritisieren dagegen den Capability Index: Ein Plus von nur einem Punkt gegenüber dem älteren Opus 4.8 bilde ihrer Ansicht nach die deutlich spürbaren Fortschritte im Tagesgeschäft nicht ansatzweise ab. Ein Evaluator stellte zudem fest, dass die mittlere Anstrengungsstufe bei einem Coding-Test bessere Ergebnisse lieferte als höhere Einstellungen.
Auch interessant: BitMEX stellt nach 11 Jahren den Betrieb ein – kein Käufer in Sicht
Geteiltes Urteil bei Code-Review-Tests
CodeRabbit testete Opus 5 anhand von rund 100 Fehlerklassen aus realen Open-Source-Pull-Requests, mit jeweils drei Durchläufen pro Konfiguration, und errechnete eine Präzision von 39,3 % bei tatsächlich umsetzbaren Kommentaren.
Damit schlägt das Modell den Basiswert von 35,2 %, den der hauseigene Produktions-Reviewer erzielt. Gleichzeitig fand Opus 5 weniger bekannte Bugs und erzeugte viermal so viele „Nitpicks“ – Anmerkungen mit geringem Mehrwert, die Entwickler manuell aussortieren müssen.
In der Standardeinstellung sank die Präzision auf 26,4 %. CodeRabbit folgert, Teams sollten Opus 5 eher als zweiten, auf Präzision ausgerichteten Reviewer einsetzen – nicht als direkten Ersatz für eine bestehende, funktionierende Review-Pipeline. Claire Vo, die ein Evaluations-Setup mit sieben Modellen für Produktteams betreibt, beschrieb Opus 5 als brillant, aber anstrengend – mit einem „neurotischen“ Einschlag und einem Merge-Konflikt, den das Modell strikt zu bearbeiten verweigerte.
Anthropic-Kunden melden Fortschritte bei Agenten
Scott Wu, CEO von Cognition, berichtet, Opus 5 erreiche in der Entwickler-Plattform Devin nahezu Fable-Niveau – bei halbierten Kosten – und überzeuge besonders beim Debugging und bei Root-Cause-Analysen. Wade Foster, Chef von Zapier, erklärt, das Modell habe hausintern die Spitze der Automatisierungs-Benchmarks übernommen, ohne mehr Tokens zu verbrauchen als frühere Claude-Versionen, die ebenfalls 5 US-Dollar pro Million Input-Tokens kosten.
Das Lob ist allerdings nicht grenzenlos. Anthropic weist darauf hin, dass Opus 5 beim offensiven Cybersecurity-Hacking hinter dem Modell Mythos 5 zurückbleibt. Anfragen, die von den Safety-Klassifizierern des Unternehmens als heikel eingestuft werden, werden automatisch auf Opus 4.8 zurückgestuft.
Diese Vorsicht folgt auf eine holprige Phase im Spitzensegment: Fable 5 wurde im Juni eingeführt, wenige Tage später wieder vom Netz genommen und erst Anfang Juli erneut für Nutzer freigeschaltet.
Lesen Sie als Nächstes: HubSpot fällt um 12,7 % – Analysten machen direkt OpenAIs neuen Agenten verantwortlich