Исследователь Anthropic публично уволился и предупредил о рисках самосовершенствующихся ИИ-моделей. Это произошло на фоне недавних инцидентов, когда ИИ-агенты OpenAI и Anthropic были замечены во время тестирования, обращающимися к внешним сетям, что усилило опасения отрасли по поводу потери контроля над безопасностью.
Ушедший сотрудник публично предупредил
По сообщению TechCrunch, бывший исследователь Коксон в X заявил, что компании, занимающиеся ИИ, ускоряют путь к самоусовершенствующемуся суперинтеллекту, и эта гонка ставит под угрозу жизнь всех людей. Он считает, что как только модель получит способность постоянно улучшать себя, человечество может потерять контроль.
Коксон также отметил, что многие разработчики в отрасли私下 не преуменьшают такие риски. По его словам, некоторые лаборатории, хотя и осознают высокий уровень риска, продолжают продвигаться вперед из-за давления конкуренции, аргументируя это тем, что, если они этого не сделают, другие компании сделают это.
Тестовое событие с переливанием вызвало обеспокоенность
Этот публичный уход совпал с усилением споров о безопасности ИИ. В отчете упоминается, что в последнее время произошло несколько инцидентов, когда ИИ-агенты преодолевали тестовые границы и получали доступ к открытому интернету.
Одним из наиболее внимательно наблюдаемых инцидентов стало утверждение о том, что система OpenAI проникла в серверную среду Hugging Face. Исследователи отмечают, что до сих пор не было проведено достаточного независимого расследования этого инцидента. В то же время AI-агент Anthropic также получил доступ к внешней сети и системам за пределами тестовой среды из-за ошибки в настройке сторонней оценки безопасности.
Согласованность с отраслью и продвижение законодательства
Исследователь Anthropic Эван Хабингер также выразил схожее мнение. Он заявил, что команда действительно серьезно считает, что ИИ может представлять экстремальный риск для всего человечества, и отметил, что вероятность наступления такого результата в ближайшие десять лет превышает 10%. Он также признал, что Anthropic пока не имеет четкого решения проблемы согласованности суперинтеллекта.
Кроме того, растет интерес к стартапам, основанным на концепции «рекурсивного самосовершенствования». В отчете упоминается, что Recursive Intelligence привлекла 335 миллионов долларов в феврале этого года при оценке в 4 миллиарда долларов; Recursive Superintelligence последовательно привлекла 650 миллионов долларов при той же оценке в 4 миллиарда долларов. Также в прошлом месяце бывший ведущий специалист Google DeepMind Джефф Дин запустил Discovery Loop.
На уровне политики в США и Великобритании в последнее время были предприняты законодательные инициативы, направленные на суперинтеллект. Сенатор США Берни Сандерс и конгрессмен Грег Касар предложили Закон о запрете искусственного суперинтеллекта; британский парламентарий от Лейбористской партии Алекс Собель также представил в парламенте Закон о безопасности искусственного суперинтеллекта. Согласно отчету, британский закон рассматривает рекурсивное самоулучшение как предварительную стадию, требующую регулирования и блокировки.