Цього тижня я закінчив книгу «Якщо хтось її побудує, всі помруть» та курс «Основи ризиків ШІ» від Lens Academy. @So8res та @ESYudkowsky чудово впоралися з книгою. Історії та приклади роблять надзвичайно складну тему набагато зрозумілішою. Суть ідеї досить пряма: якщо ми продовжуватимемо рух у бік надінтелектуального ШІ, не розуміючи, що саме ми будуємо, ми можемо не отримати другої нагоди все виправити. Автори стверджують, що достатньо розвинений ШІ може стати здатним спричинити вимирання людства, тобто ми в кінцевому підсумку можемо створити щось, що призведе до зникнення самого себе. Автори вважають, що це не просто ще одна хвиля технологій. Це фундаментально інше явище, і навіть невелика помилка у тому, як ми будуємо чи контролюємо ці системи, може мати незворотні наслідки. Їх запропоноване рішення — повністю призупинити розвиток ШІ. Я знайшов це важким для прийняття, особливо враховуючи позитивний вплив, який ШІ вже має на наш життя. Моя думка: знайдіть золоту середину. Ми повинні продовжувати розвиток ШІ, але значно збільшити ресурси, виділені на безпеку та відповідність ШІ. Під час нашої групової дискусії хтось згадав, що лише близько 1 з 100 співробітників у галузі ШІ працює над безпекою ШІ. Якщо це хоча б приблизно правда, я вважаю, що цей дисбаланс варто сприймати серйозно. Лабораторії-лідери та уряди повинні інвестувати набагато більше у розуміння того, як працюють ці системи, і у безпеку ШІ, а не ставити їх як «чорні скриньки» та просто доналаштовувати їх. Ми все частіше будуємо системи, які можуть діяти автономно. Останні інциденти, пов’язані з взаємодією агентів ШІ з реальними системами, нагадують нам, що ця проблема стає все більш конкретною. Після прочитання цієї книги я значно переконався, що безпека ШІ заслуговує набагато більше уваги та ресурсів, ніж отримує зараз.