Unabhängige Tester haben das neue Modell von Anthropic, Claude Opus 5, auf einem Fähigkeitsindex mit 159 Punkten bewertet – zwei Punkte hinter Claude Fable 5. Vor allem die Resultate bei Code-Reviews spalten die Fachwelt deutlich.
Zentrale Fakten:
- Epoch AI bewertet Claude Opus 5 mit 159 Punkten auf seinem Fähigkeitsindex, gegenüber 161 für Claude Fable 5; bei Software-Engineering liegen beide gleichauf.
- CodeRabbit misst 39,3 % Präzision bei umsetzbaren Review-Kommentaren (Basiswert: 35,2 %), registriert aber viermal so viele belanglose Anmerkungen.
- Unternehmenskunden wie Cognition und Zapier melden Fortschritte beim Debugging und bei End-to-End‑Automatisierung von Geschäftsprozessen.
Frühe Benchmarks zu Claude Opus 5 unter genauer Beobachtung
Anthropic hat das Modell am Freitag ausgeliefert und erklärt, Opus 5 komme der Spitzenintelligenz von Fable 5 nahe – bei halb so hohen Kosten. Positioniert wird es als Alltagswerkzeug, nicht als Spezialmodell. Externe Bewertungsstellen stützen diese Sicht weitgehend, sind sich aber über die Leistungsabstände uneins.
Epoch AI setzt Opus 5 auf seinem Fähigkeitsindex mit 159 Punkten knapp hinter Fable 5 mit 161 Punkten an und bewertet beide Modelle im Bereich Software-Engineering als gleichwertig, wie eine Auswertung von Latent Space zeigt.
Artificial Analysis sieht Opus 5 in seinem Benchmark für agentenbasierte Wissensarbeit an der Spitze – fast 150 Elo-Punkte vor Fable 5 – bei zugleich rund 20 % niedrigeren Kosten pro Aufgabe. Einige Entwickler kritisieren jedoch den Fähigkeitsindex: Ein reiner Pluspunkt gegenüber dem älteren Opus 4.8 bilde die wahrgenommenen Fortschritte im Alltagseinsatz deutlich zu schwach ab. Ein Evaluator stellte fest, dass mittlere „Effort“-Einstellungen bei einem Coding-Test die höheren Stufen übertrafen.
Auch interessant: BitMEX stellt nach 11 Jahren den Betrieb ein – kein Käufer in Sicht
Geteiltes Urteil bei Code-Reviews
CodeRabbit ließ Opus 5 gegen rund 100 Fehlermuster aus realen Open-Source‑Pull-Requests antreten, mit jeweils drei Durchläufen pro Konfiguration, und erfasste eine Präzision von 39,3 % bei umsetzbaren Kommentaren.
Damit übertrifft Opus 5 den 35,2‑Prozent‑Basiswert des hauseigenen Produktions-Reviewers. Allerdings identifizierte das Modell weniger bekannte Bugs und generierte viermal so viele „Nitpicks“ – Detailanmerkungen mit geringem Mehrwert, die Entwickler manuell sichten müssen.
In der Standardeinstellung sank die Präzision auf 26,4 %. CodeRabbit kommt daher zu dem Schluss, Teams sollten Opus 5 eher als zweiten, auf Präzision ausgerichteten Reviewer einsetzen – nicht als direkten Ersatz in etablierten Review-Pipelines. Claire Vo, die einen sieben Modelle umfassenden Evaluierungstest für Produktteams betreibt, lobte das Modell als brillant, aber anstrengend – mit einer „neurotischen Ader“ und einem Merge-Konflikt, den es kategorisch nicht auflösen wollte.
Unternehmenskunden von Anthropic melden Agenten-Fortschritte
Scott Wu, CEO von Cognition, berichtet, Opus 5 erreiche innerhalb des Entwickler-Agenten Devin fast Fable‑Niveau – bei halben Kosten – und zeige besondere Stärke beim Debugging und bei Root-Cause-Analysen. Wade Foster, Chef von Zapier, erklärte, das Modell habe in der internen Automatisierungswertung den Spitzenplatz übernommen, ohne mehr Token zu verbrauchen als frühere Claude-Versionen mit dem gleichen Preis von 5 US‑Dollar pro Million Input-Token.
Das Lob hat Grenzen: Anthropic weist darauf hin, dass Opus 5 beim offensiven Cybersecurity‑Einsatz hinter dem Modell Mythos 5 zurückbleibt. Anfragen, die von den Safety‑Klassifikatoren des Unternehmens als heikel eingestuft werden, werden daher automatisch auf Opus 4.8 zurückgestuft.
Die Vorsicht folgt auf eine unruhige Phase an der Leistungsspitze: Fable 5 wurde im Juni gestartet, wenige Tage später vorübergehend vom Netz genommen und kam erst Anfang Juli wieder zu den Nutzern zurück.
Weiterlesen: HubSpot verliert 12,7 % – Analysten machen OpenAIs neuen Agenten verantwortlich