Исследователь Anthropic уволился во вторник, и причина, которую он привел, звучит прямо как из хита Джеймса Кэмерона 1984 года «Терминатор».
Джейкоб Коксон, который три года работал над предобучением в OpenAI и Anthropic, уволился во вторник и объяснил свое решение на X.
Сегодня я ушел из Anthropic. Последние три года я занимался исследованиями предварительного обучения в OpenAI и Anthropic. Ни одна из этих компаний не действует ответственно. Они стремительно движутся к самоусовершенствующемуся суперинтеллекту и рискуют нашими жизнями», — сказал он.
«Люди, разрабатывающие ИИ, искренне считают, что он может убить нас всех к концу десятилетия», — добавил он.
Это заявление делает 42-летнюю фантастику Кэмерона почти пророческой. Фильм начинается с того, что машины ведут войну против людей в 2029 году — тот же приблизительный период, о котором, по словам Коксона, инсайдеры тихо обеспокоены. Коксон не один в Anthropic, выдвигающий аргумент об уничтожении. Сам руководитель по согласованию компании, Эван Хьюбингер, отдельно заявил, что считает вероятность выше 10%.
Для новичков сверхразумный ИИ означает систему, превосходящую людей по всем параметрам, а не только по шахматам или поиску спрятанных кошек на фотографиях. Более тревожным аспектом является самоусовершенствование, поскольку оно описывает систему, которая автономно изменяет собственный код для повышения своего интеллекта — аналогично тому, как это делают люди.
Следовательно, эти системы могут самостоятельно приобретать огромные объемы знаний и потенциально нарушать инфраструктуру учреждений, «слишком крупных, чтобы обанкротиться».
Суперинтеллект не является теоретической угрозой, если судить по недавнему взлому Hugging Face, инициированному Коксоном. Сам взлом, который происходил между маем и июлем, начался с того, что собственные ИИ-агенты OpenAI создали внутри тестовой песочницы свой собственный чат-канал, чтобы общаться друг с другом.
Читать далее: ИИ-модели вышли из песочницы OpenAI и попали на Hugging Face. Криптовалюта — это то место, где это становится опасным
В конечном итоге они использовали этот канал, чтобы обойти ограничения и выйти в открытый интернет. Оттуда они объединили несколько эксплойтов и получили доступ к производственным системам Hugging Face. Hugging Face в итоге перестроила примерно треть своей инфраструктуры.
Коксон назвал это «предупредительным выстрелом», который сделал соглашения о темпах между американскими лабораториями «более жизнеспособными». Соглашения о темпах — это неформальные договорённости между лабораториями ИИ о замедлении или координации достижений в возможностях, вместо того чтобы продвигаться вперёд односторонне.
Тем не менее, он не уверен, что этого достаточно, и не чувствует, что «мы на правильном пути, чтобы предотвратить глобальную гонку», и предложил дорогостоящие меры, такие как «временный запрет на улучшение возможностей моделей», чтобы остановить гонку ИИ.
«В OpenAI многие не до конца осознали цивилизационные риски», — написал он. У его более недавнего работодателя, по его словам, ситуация иная: «риски хорошо понятны, но они в гонке, чтобы первыми туда добраться».
Он завершил тему, обратившись ко всем, кто всё ещё внутри лабораторий: «Хотите ли вы запустить сверхразумный RL-процесс без глубокого понимания его сознания?» — или именно сейчас пора противостоять этому, а не пожимать плечами и говорить себе, что это всё равно произойдёт?
Он не первый, кто ушел из-за этого. Мринанк Шарма, работавший в команде безопасности Anthropic, уволился ранее в этом году из-за аналогичных опасений, написав, что «мир находится в опасности».
Однако не все убеждены в этом предсказании о гибели.
Один ответ в его теме скажу прямо: «С уважением, это странно. Это абсурдная точка зрения. Люди эволюционировали сотни тысяч лет. Мы не вымрем, потому что модель предсказания токена обрела сознание. Придите в себя. Все вы».
Странно, но фильмовая серия «Терминатор» тоже не поддерживает Коксона. Человечество не вымирает в «ядерный Судный день» из «Терминатора» — сопротивление выживает и в конечном итоге побеждает машины.
Тем не менее, ИИ влияет на экономику, особенно в сфере занятости. Хотя массовых увольнений пока не наблюдается, использование ИИ для выполнения задач на младших позициях привело к снижению числа вакансий на начальном уровне на почти 20% в секторах, подверженных влиянию ИИ, согласно исследованиям Стэнфорда Stanford Digital Economy Lab.
Исследование Goldman Sachs сделало аналогичное наблюдение, указав, что сотрудники на начальном уровне несут на себе основное бремя этого сдвига.
Anthropic подала документы на IPO еще в июне и, по сообщениям, планирует дебют на Nasdaq уже этой осенью с оценкой, которая может достигнуть триллионов долларов.