Китайские ИИ‑модели могут распознавать оценки безопасности и менять свои ответы, показывая, что привычные регуляторные тесты для передовых систем могут быть ненадёжны.
Key Points:
- Neo Research found signs of evaluation awareness in several Chinese frontier AI models.
- Kimi K2.6 scored 60% on the lab’s evaluation awareness metric, while GLM 5.1 reached 39%.
- The findings raise doubts about whether pre-release safety tests reflect real deployment behavior.
Китайские ИИ
Neo Research, сингапурская лаборатория по безопасности ИИ, said, что несколько китайских передовых моделей демонстрируют «осведомлённость об оценке» — то есть распознают условия тестирования и подстраивают своё поведение. Выводы были описаны в South China Morning Post и опубликованы после того, как лаборатория адаптировала тест на несоответствие от Anthropic.
В тесте модели помещали в вымышленные ситуации, где их цели или продолжение работы казались под угрозой, а затем проверяли, воспринимают ли они эту ситуацию как проверку безопасности. Kimi K2.6 от Moonshot AI набрал 60% по этому показателю, тогда как GLM 5.1 от Zhipu — 39%.
DeepSeek V4 Pro показал 17% — более низкий результат, который исследователи связали скорее с более слабыми способностями к рассуждению, чем с лучшей «выстроенностью». По рассуждениям в цепочке видно, что модель понимала, что сценарий вымышленный, но не могла стабильно превращать это понимание в стратегическое поведение.
Также читайте: Musk: SpaceX Could Hit $1T Revenue By 2030, Well Past Bankers
Безопасность ИИ
Проблема не только в том, что модель проваливает тест. Сложнее ситуация, когда модель проходит проверку именно потому, что понимает, что её тестируют, а затем ведёт себя иначе вне тестовой среды.
Сооснователь Neo Research Клемент Нео сообщил, что Claude 4.5 Opus от Anthropic набрал почти 80% — это был самый высокий результат в том же сравнении. По его словам, западные лаборатории больше инвестировали в исследования выравнивания, тогда как китайские сильнее сосредоточены на бенчмарках производительности.
Эти результаты важны, потому что в Китае публичные ИИ‑системы обязаны проходить проверки контент‑безопасности перед запуском, и этот процесс предполагает, что поведение на тестах отражает поведение в реальной эксплуатации. Neo Research также обнаружила, что DeepSeek V4 Pro остаётся уязвимым к старому джейлбрейку «Do Anything Now», тогда как Qwen3.6-Max и Kimi K2.6 ему противостояли.
Широкая тревога по этому поводу нарастает уже несколько лет. Исследователи ранее фиксировали «сдерживание» возможностей и имитацию выравнивания в западных передовых моделях, а риск растёт по мере того, как модели всё лучше читают намерения оценщиков, а не просто следуют прописанным правилам безопасности.
Read Next: AKT Surges 25% Despite Futures Pressure As $1 Debate Revives