Дуже цікаве інтерв’ю з Рогіном про безпеку ШІ. Я більш пессимістичний щодо ризиків і не погоджуюся з усім, але мені подобається, як він формулює свої міркування. Там, де я найбільше не погоджуюся: виключення досліджень згідності з даних передтренування моделей, з аргументом, що ми не повинні надавати ШІ системам повний набір інструкцій щодо того, як ми плануємо їх обмежувати. Історія показує, що це не працює. Ми вже проходили цю дискусію в криптографії. Безпека через прихованість не працює. Потрібні відкриті схеми, відкриті стандарти, відкриті дослідження. За суттю — принцип Керкгоффса: приховуйте ключі, а не алгоритми. Те саме має стосуватися й згідності. Тренуйте моделі на наших найкращих дослідженнях безпеки, а не приховуйте від них цю інформацію. Щире запитання для тих, хто працює над безпекою: чи є реальний зсув у бік виключення цих даних з передтренування? Чи це стає консенсусом? Щиро цікаво.