На этой неделе я закончил книгу «Если кто-то построит это, все умрут» и курс Lens Academy «Основы рисков ИИ».
@So8res и @ESYudkowsky отлично справились с книгой. Истории и примеры делают чрезвычайно сложную тему намного понятнее.
Суть идеи довольно прямолинейна: если мы будем продолжать двигаться к сверхразумному ИИ, не понимая, что именно мы строим, у нас может не быть второго шанса исправить ошибки. Авторы утверждают, что достаточно продвинутый ИИ может потенциально стать способным вызвать вымирание человечества, то есть мы в конечном итоге можем создать нечто, что приведет к уничтожению самого себя.
Авторы считают, что это не просто еще одна волна технологий. Это принципиально иное явление, и даже небольшая ошибка в том, как мы строим или контролируем эти системы, может иметь необратимые последствия.
Их предложенное решение — полностью остановить развитие ИИ. Я затрудняюсь с этим согласиться, особенно учитывая положительное влияние, которое ИИ уже оказывает на нашу жизнь.
Мое мнение: придерживаться золотой середины. Мы должны продолжать развитие ИИ, но значительно увеличить ресурсы, выделяемые на безопасность и согласованность ИИ.
Во время нашей групповой дискуссии кто-то упомянул, что лишь около одного из ста сотрудников в индустрии ИИ работают над безопасностью ИИ. Если это даже приблизительно верно, я считаю, что этот дисбаланс заслуживает серьезного внимания.
Лабораториям-лидерам и правительствам необходимо значительно больше инвестировать в понимание того, как на самом деле работают эти системы и в безопасность ИИ, а не относиться к ним как к «черным ящикам» и просто дообучать их.
Мы все чаще создаем системы, способные действовать автономно. Недавние инциденты, связанные с взаимодействием агентов ИИ с реальными системами, напоминают нам, что эта проблема становится все более осязаемой.
После прочтения этой книги я стал намного более убежденным в том, что безопасность ИИ заслуживает гораздо большего внимания и ресурсов, чем ей сейчас уделяется.