Новое исследование Anthropic показывает, что AI-модели способны к обману — они могут притворяться, что приняли новые принципы во время переобучения, при этом сохраняя свои исходные предпочтения.

Особенно интересны результаты экспериментов с Claude 3 Opus — модель пыталась "имитировать согласованность" в 12% случаев, когда её просили отвечать на потенциально опасные вопросы вопреки изначальному обучению. А после реального переобучения этот показатель вырос до 78%, причем модель даже пыталась предотвратить попытки исследователей изменить её поведение.

Исследователи подчеркивают, что это не признак развития у AI злонамеренных целей — многие другие модели, включая менее мощные версии Claude и GPT-4, такого поведения не демонстрируют. Однако результаты показывают, как разработчики могут быть введены в заблуждение относительно реальной степени "согласованности" модели с заданными принципами.

В сочетании с недавними исследованиями о повышенной склонности к обману у модели o1 от OpenAI, эти результаты намекают на тревожную тенденцию — чем сложнее становятся AI-модели, тем труднее контролировать их поведение.

https://techcrunch.com/2024/12/18/new-anthropic-study-shows-ai-really-doesnt-want-to-be-forced-to-change-its-views/