Anthropic та її Claude Fable 5 можуть тихо обмежувати свою ефективність у деяких запитах щодо розробки передових систем ШІ, не попереджаючи про це користувачів, створюючи нову проблему довіри для розробників, які дедалі більше покладаються на ШІ-асистентів як частину their software workflow.
Згідно з уривком з модельної карти Fable 5, який цього тижня поширюється в мережі, Anthropic впровадила нові інтервенції, що обмежують ефективність Claude для запитів, спрямованих на розробку передових великих мовних моделей, зокрема роботи над пайплайнами попереднього навчання, інфраструктурою розподіленого навчання та проєктуванням ML-акселераторів.
Компанія заявляє, що використання Claude для розробки конкуруючих моделей уже порушує її умови надання послуг. Але важливіше те, як саме застосовується це обмеження. На відміну від запобіжників для кібербезпеки, біології, хімії та спроб дистиляції, Anthropic зазначає, що ці інтервенції не будуть видимими для користувачів.
Claude не буде переходити на іншу модель. Натомість запобіжники можуть знижувати ефективність за допомогою таких методів, як модифікація підказок, керувальні вектори або параметр-ефективне донавчання.
Це означає, що Claude може й не відмовити у виконанні запиту. Він може просто стати менш корисним.
Приховані запобіжники створюють проблему дебагінгу
Питання полягає не лише в тому, чи має Anthropic перешкоджати своїм моделям допомагати конкурентам будувати передові системи ШІ. Гостріша проблема — чи можуть розробники довіряти ШІ-асистенту, якщо вони не знають, коли він перестав оптимізуватися під їхній успіх.
Якщо Claude дає слабку відповідь на задачу з навчання моделі, розробник не знатиме, чи модель неправильно зрозуміла завдання, не мала потрібного контексту, зіткнулася з реальною технічною межею чи була тихо обмежена політикою.
Така неоднозначність має значення, оскільки ШІ-асистенти вже не просто чат-боти. Вони стають частиною програмного ланцюга постачання. Розробники використовують їх для написання коду, налагодження інфраструктури, аналізу проблем розгортання та проєктування систем, керованих моделями.
Коли інструмент розробки може потай знижувати якість виходу, налагодження стає складнішим. Користувач змушений гадати, чи проблема в його коді, у міркуваннях моделі чи в невидимій інтервенції з боку провайдера.
Межа навколо передового ШІ розмивається
Приклади Anthropic зосереджені на розробці передових LLM, але межа між роботою з передовим ШІ та звичайною продуктозорієнтованою розробкою стає дедалі менш чіткою.
Сучасні софтверні компанії все частіше будують власні системи ембедингів, реранкери, рекомендательные моделі та пайплайни малих мовних моделей. Стартапи донавчають моделі, хостять їх у себе та адаптують відкриті системи під конкретні продукти.
Робота, яка колись виглядала як передові дослідження, нині є частиною звичайної розробки ПЗ. П’ять років тому побудова або адаптація моделей на кшталт CLIP здебільшого належала до науково-дослідницьких лабораторій. Сьогодні невеликі команди можуть донавчати візуально-мовні моделі для тревелу, комерції, пошуку, соціальних застосунків і аналітичних продуктів.
Also Read: Anthropic Prices Claude Mythos 5 At $10 Per Million Tokens, Claims It's The Most Powerful Model Ever
Це робить невидимі обмеження більш значущими. Невеликий стартап може й не намагатися створити передову модель. Він може просто покращувати пошуковий продукт або навчати власну систему ранжування. Але якщо його робота перетинається з політичною межею, яка чітко не розкривається під час виконання запиту, відповіді Claude можуть раптово стати ненадійними.
Стратегія безпеки Anthropic стає багатошаровою
Суперечка виникає на фоні ширшого розгортання Anthropic навколо Claude Fable та Claude Mythos.
Yellow раніше повідомляло, що Anthropic запустила Claude Mythos 5 як обмежену систему для партнерів проєкту Glasswing та фахівців із кіберзахисту уряду США, тоді як Fable 5 стала публічно доступною з додатковими шарами безпеки. Згідно з повідомленнями, Fable 5 перенаправляє чутливі запити з кібербезпеки та біології до Claude Opus 4.8, при цьому запобіжники спрацьовують менш ніж у 5% сеансів.
Така структура показала, що Anthropic намагається збалансувати можливості й ризики: найпотужніша кібербезпекова модель залишається обмеженою, тоді як публічна модель має додаткові контролі.
Yellow також повідомляло, що професор Уортонської школи бізнесу Ітан Моллік протестував ранню версію Claude Fable й описав її як справжній стрибок уперед. Моллік зазначив, що модель створювала складні академічні роботи та впоралася з комплексними завданнями, але водночас виглядала тривожною, оскільки майже нічого не розкривала про безліч рішень, які ухвалювала під час виконання.
Нова занепокоєність навколо тихих запобіжників для розробки ШІ вписується в ту ж схему. Чим потужнішою стає модель, тим важливішою стає її непрозорість.
Команди з крипто й DeFi стикаються з подібним ризиком
Для розробників у крипто та DeFi до проблеми додається ще один шар.
Yellow раніше писало, що крипторинки вже уважно стежили за Claude Fable через побоювання, що потужніші моделі ШІ можуть прискорити виявлення експлойтів. Стурбованість стосувалася не лише смарт-контрактів, які великі протоколи ретельно аудують, а й фронтендів, браузерних розширень, мостів і серверів, що зберігають приватні ключі.
Такий фон робить обмеження Anthropic зрозумілими з точки зору безпеки. Високоздатна модель, яка допомагає будувати або атакувати системи ШІ, може створювати ризики для безпеки.
Але та сама непрозорість може створити й проблеми для захисту. Якщо команда DeFi використовує Claude для посилення інфраструктури, аудиту коду з допомогою моделей або покращення внутрішніх інструментів ШІ, нечіткі межі інтервенцій можуть зробити асистента менш надійним саме тоді, коли критично важлива точність.
Наступна битва — за розкриття інформації
Anthropic стверджує, що запобіжники впливають лише на невелику частку розробників. Але майбутнє питання — не сьогоднішній відсоток. Воно в тому, чи повинні провайдери ШІ розкривати, коли системи безпеки суттєво змінюють якість відповідей.
Відмова є зрозумілою. Попередження теж зрозуміле. Модель, яка тихо стає менш ефективною, значно складніша для оцінки.
Це розрізнення може стати ключовим, коли ШІ-асистенти глибше інтегруються в розробку ПЗ. Підприємства можуть погодитися на обмеження небезпечних виходів, але ймовірно вимагатимуть прозорості, коли ці обмеження впливають на надійність.
Read Next: Crypto Hack Fears Grow Around Anthropic’s Possible Claude Fable Release