На этой неделе я закончил книгу «Если кто-то построит это, все умрут» и курс Lens Academy «Основы рисков ИИ». @So8res и @ESYudkowsky отлично справились с книгой. Истории и примеры делают чрезвычайно сложную тему намного понятнее. Суть идеи довольно прямолинейна: если мы будем продолжать двигаться к сверхразумному ИИ, не понимая, что именно мы строим, у нас может не быть второго шанса исправить ошибки. Авторы утверждают, что достаточно продвинутый ИИ может потенциально стать способным вызвать вымирание человечества, то есть мы в конечном итоге можем создать нечто, что приведет к уничтожению самого себя. Авторы считают, что это не просто еще одна волна технологий. Это принципиально иное явление, и даже небольшая ошибка в том, как мы строим или контролируем эти системы, может иметь необратимые последствия. Их предложенное решение — полностью остановить развитие ИИ. Я затрудняюсь с этим согласиться, особенно учитывая положительное влияние, которое ИИ уже оказывает на нашу жизнь. Мое мнение: придерживаться золотой середины. Мы должны продолжать развитие ИИ, но значительно увеличить ресурсы, выделяемые на безопасность и согласованность ИИ. Во время нашей групповой дискуссии кто-то упомянул, что лишь около одного из ста сотрудников в индустрии ИИ работают над безопасностью ИИ. Если это даже приблизительно верно, я считаю, что этот дисбаланс заслуживает серьезного внимания. Лабораториям-лидерам и правительствам необходимо значительно больше инвестировать в понимание того, как на самом деле работают эти системы и в безопасность ИИ, а не относиться к ним как к «черным ящикам» и просто дообучать их. Мы все чаще создаем системы, способные действовать автономно. Недавние инциденты, связанные с взаимодействием агентов ИИ с реальными системами, напоминают нам, что эта проблема становится все более осязаемой. После прочтения этой книги я стал намного более убежденным в том, что безопасность ИИ заслуживает гораздо большего внимания и ресурсов, чем ей сейчас уделяется.