Генеральный директор Microsoft Сатья Наделла в подкасте 20VC признал, что ранее полагал, что усиление возможностей ИИ автоматически приведет к прогрессу в согласовании с человеческими ценностями, но теперь изменил свое мнение. Он отметил, что масштаб моделей продолжает расти, однако проблема согласования становится еще более сложной, а управляемость не увеличивается в той же мере, что и способности. Он выступает за рассмотрение ИИ как внутренней угрозы безопасности и необходимость создания трехуровневой системы защиты: надежный дизайн систем, человеческий контроль и операционные процедуры, а также призывает к разработке отраслевых стандартов. Эта позиция согласуется с предупреждениями лидеров отрасли, таких как Олтман и Амодей, и подчеркивает, что управление ИИ переходит от деклараций к жестким инженерным и институциональным ограничениям.Автор статьи, источник: AIBase
Генеральный директор Microsoft Сатья Наделла изменил свое мнение по вопросу «согласования» ИИ. В новом выпуске подкаста 20VC ведущий Гарри Стеббинс спросил его, какие его взгляды изменились за последний год, и Наделла откровенно признал: ранее он всегда считал, что чем мощнее ИИ, тем более естественно решится вопрос приведения его поведения в соответствие с человеческими ценностями и целями.
От «естественного решения» к «более сложному»
Однако реальность не пошла по сценарию. Наделла признал, что рост масштаба моделей и постоянное повышение их возможностей действительно соответствовали его ожиданиям; однако «согласование» — то есть обеспечение того, чтобы поведение ИИ было контролируемым — до сих пор не было решено. Он сказал: «Раньше я всегда считал, что проблема согласования решится сама собой. Теперь я так не думаю. Согласование может быть более сложной и иной по своей природе проблемой».
Так называемое выравнивание касается того, слушается ли поведение ИИ людей и соответствует ли оно человеческим целям. Когда модели становятся настолько крупными, что даже их разработчики не могут полностью предсказать их действия, рост способностей расходится с ростом управляемости, становясь новой реальностью, с которой вынужден столкнуться Наделла.
Используйте ИИ как «внутреннего врага» для защиты
Эти признаки опасности уже были заметны. 10 октября Наделла опубликовал сообщение на платформе X, предупредив о рисках ИИ и настоятельно рекомендовав ужесточить внешний контроль безопасности. Его основная рекомендация звучала резко: компании должны рассматривать модели ИИ как «внутреннюю угрозу безопасности» и при разработке мер защиты предполагать, что модель уже скомпрометирована.
Он написал в посте, что для моделей, поведение которых невозможно полностью предсказать, необходимо установить три уровня защиты: «надежный, детерминированный системный дизайн, человеческий контроль и совершенные операционные процедуры»; где стандарты недостаточны, следует как можно скорее установить отраслевые правила.
Наделла — не единственный случай. Олтман из OpenAI и Амодей из Anthropic ранее предупреждали о потенциальных угрозах ИИ; в июле этого года более 1000 специалистов подписали открытое письмо, напоминая, что темпы роста возможностей ИИ уже опережают способность человечества понимать или контролировать его. Когда ведущие трейдеры совместно снижают доверие к принципу «чем мощнее, тем безопаснее», управление ИИ, вероятно, должно перейти от лозунгов к более жестким инженерным и институциональным решениям.