Claude Fable 5 đã trở lại vào ngày 1/7 kèm theo nhiều phàn nàn gay gắt từ người dùng, nhưng dữ liệu benchmark cho thấy nguyên nhân đến từ bộ định tuyến Anthropic nghiêm ngặt hơn chứ không phải mô hình yếu đi.
Các điểm chính:
- BridgeBench báo cáo điểm mã hóa của Fable 5 sụp mạnh sau khi hầu hết tác vụ debug bị định tuyến tránh xa mô hình.
- Arena.AI ghi nhận kết quả ưu tiên mù của con người phần lớn ổn định, với mức tăng ở hạng mục tài liệu và văn bản chuyên gia.
- Nhà phát triển bị gián đoạn rõ nhất vì các prompt debug thường lệ giờ có thể kích hoạt bộ phân loại mới.
Định tuyến Fable 5
Claude Fable 5 hoạt động trở lại ngày 1/7 sau khi được khôi phục, và người dùng trên X nhanh chóng mô tả nó là hỏng, bị “nerf” hoặc kém hơn trước. Bằng chứng mạnh nhất ủng hộ quan điểm đó đến từ BridgeMind, đơn vị đã chạy lại bộ kiểm tra mã hóa BridgeBench trên phiên bản được khôi phục.
Kết quả trông khá nghiêm trọng. Điểm debug giảm từ 86,2 xuống 25,9, điểm refactor giảm từ 73,6 xuống 38,4, và khả năng kháng ảo giác giảm từ 75,9 xuống 61,7.
Những con số này không cho thấy một cú sụp mô hình ở cấp độ thuần túy, vì BridgeBench cho biết chỉ 3 trong số 12 tác vụ debug TypeScript thực sự đến được Fable 5. Chín tác vụ còn lại bị trình phân loại an toàn mới của Anthropic chặn và gửi sang Claude Opus 4.8, với mỗi lần fallback bị chấm điểm 0 vì mô hình được đánh giá không trả lời.
Đọc thêm: Bí ẩn 491 BTC của Strategy làm dấy lên tranh luận về chính sách bán của Saylor
Bộ phân loại của Anthropic
Arena.AI đi đến kết luận khác vì họ đo lường lựa chọn mù của con người trên một tập prompt đa dạng hơn, gồm văn bản, hình ảnh, tài liệu, mã và tác vụ agent. Dữ liệu ban đầu cho thấy Fable 5 phần lớn giữ vững so với phiên bản tháng 6.
Điểm Elo cho mã frontend giảm từ 1650 xuống 1623, mà theo Arena vẫn nằm trong khoảng tin cậy trong lúc tiếp tục tích lũy phiếu bầu. Hiệu suất tài liệu tăng 34 điểm, văn bản chuyên gia tăng 25 điểm và sáng tác sáng tạo tăng 9 điểm.
Sự tách biệt này gợi ý Fable 5 vẫn hoạt động như Fable 5 khi prompt thực sự đến được nó. Vấn đề là các công việc mã hóa gần với lĩnh vực bảo mật có thể bị chuyển hướng trước khi mô hình phản hồi, đặc biệt khi prompt chứa các từ như “vulnerability”, “exploit”, “hook” hoặc “fix”.
Anthropic thừa nhận rằng các bộ phân loại mới sẽ tạo ra dương tính giả với các tác vụ mã hóa và debug thông thường. Công ty cho biết sẽ tinh chỉnh hệ thống theo thời gian, nhưng chưa đưa ra mốc thời gian cụ thể.
Thiết lập hiện tại xuất phát từ tranh cãi an toàn rộng hơn sau khi các nhà nghiên cứu Amazon báo cáo một jailbreak buộc Fable 5 xác định và trình diễn lỗ hổng phần mềm. Câu trả lời của Anthropic là một bộ phân loại thận trọng, vốn giờ đây dường như chặn nhiều hơn những prompt nguy hiểm mà nó được thiết kế để bắt.
Đọc tiếp: Trump nói ông không biết về khoản thu nhập crypto 1,4 tỷ USD