Генеральний директор Microsoft Сатя Наделла у подкасті 20VC визнав, що раніше вважав, що збільшення здатностей ШІ призведе до природного просування у відповідності людським цінностям, але зараз змінив свою думку. Він зазначив, що незважаючи на постійне збільшення розміру моделей, проблеми відповідності стають складнішими, а контрольованість не зростає разом із здатностями. Він закликає розглядати ШІ як внутрішню загрозу безпеці та будувати трирівневу систему захисту: надійний проект системи, людський контроль та операційні процедури, а також закликає до створення галузевих стандартів. Ця позиція підтримує попередження лідерів галузі, таких як Олтман та Амодеї, і підкреслює, що управління ШІ переходить від слів до конкретних інженерних рішень та інституційних обмежень.Автор статті, джерело: AIBase
Генеральний директор Microsoft Сатія Наделла змінив свою позицію щодо проблеми «вирівнювання» ШІ. У новому епізоді подкасту «20VC» ведучий Гаррі Стіббс запитав його, які його думки змінилися за останній рік, і Наделла визнав: раніше він завжди вважав, що чим потужнішою стає ШІ, тим більш природним чином вирішиться питання відповідності її поведінки людським цінностям і метам.
Від «природного вирішення» до «складнішого»
Проте реальність не слідувала сценарію. Наделла визнав, що збільшення розміру моделей і постійне підвищення їхніх можливостей — це саме те, чого він очікував; але «відповідність» — тобто забезпечення того, щоб поведінка ШІ була дисциплінованою — досі не була вирішена. Він сказав: «Раніше я завжди вважав, що проблема відповідності вирішиться сама собою. Тепер я так не думаю. Відповідність може бути більш складною та іншою за природою проблемою».
Так зване відповідність стосується того, чи слухає поведінка ШІ людей чи відповідає людським цілям. Коли модель стає настільки великою, що навіть її розробники важко повністю передбачити її дії, зростання здібностей відокремлюється від зростання контролюваності — це нова реальність, з якою довелося стикнутися Наделі.
Захищайтеся від AI як від «внутрішнього ворога»
Ці попередження мали ознаки ще заздалегідь. 10 жовтня Наделла опублікував пост на платформі X, попереджаючи про ризики ШІ та закликаючи посилити зовнішній контроль безпеки. Його основна пропозиція була досить різкою: компаніям слід розглядати моделі ШІ як «внутрішню загрозу безпеці» і при захисті припускати, що модель вже була скомпрометована.
Він написав у пості, що для моделей, поведінка яких не може бути повністю передбачуваною, необхідно встановити три рівні захисту: «надійний, детермінований системний дизайн, штучний контроль та досконалі операційні процедури»; де стандарти ще не достатні — швидко встановити галузеві правила.
Надела — не єдиний випадок. Олтман з OpenAI, Амодей з Anthropic раніше попереджали про потенційні загрози ШІ; у липні цього року більше тисячі фахівців підписали відкритий лист, попереджаючи, що швидкість розвитку можливостей ШІ вже випередила здатність людства розуміти чи керувати ним. Коли топові трейдери колективно знижують довіру до принципу «чим сильніший, тим безпечніший», управління ШІ, мабуть, має перейти від слів до більш жорстких інженерних та інституційних рішень.