По мере ускорения соревнования в области ИИ, руководитель OpenAI впервые открыл сотрудникам три возможных будущих, способных изменить всю отрасль.Автор статьи, источник: Wall Street Journal
19 октября, согласно сообщению The Information, генеральный директор OpenAI Сам Альтман на прошлой неделе в внутреннем выступлении перед сотрудниками описал три возможных пути развития безопасности ИИ, обсуждаемых в отрасли: создание международного регулирующего органа, подобного Международному агентству по атомной энергии, объединение крупнейших лабораторий ИИ в единый субъект, а также монополизация вычислительных ресурсов одной компанией с «уничтожением всех конкурентных GPU». Это заявление прозвучало на фоне начала администрации Трампа разработки первых регуляторных механизмов для разработчиков «суперинтеллекта».
Альтман заявил, что OpenAI должна принять решение в течение следующего года, какую именно траекторию выбрать. Он также подчеркнул, что надеется, что человечество всегда будет контролировать эту технологию и избегать чрезмерной концентрации власти в отрасли.
Три пути, каждый из которых имеет свою цель. Согласно двум осведомленным источникам, первый путь, представленный Алтманом сотрудникам, — это создание международной организации, подобной Международному агентству по атомной энергии (МАГАТЭ), ответственной за внедрение стандартов безопасности ИИ. Сам Алтман склоняется к поддержке этого варианта.
На самом деле, идея Алтмана о создании международного регуляторного органа в стиле МАГАТЭ существует давно. Сообщается, что еще в мае 2023 года Алтман в сотрудничестве с сооснователем OpenAI Грегом Брокманом и бывшим главным научным сотрудником Ильей Суцкевером опубликовал статью, в которой утверждали, что отрасли может потребоваться «надзорный орган в стиле МАГАТЭ для сверхразумов», обладающий полномочиями проверять системы, требовать аудит и отслеживать вычислительные мощности и энергопотребление.
Эта концепция требует участия всех стран, разрабатывающих передовые модели, в международном сотрудничестве.
Второй путь, по словам Альтмана, называется «план Демиса» — отсылка к идее, предложенной примерно десять лет назад Демисом Хассабисом, бывшим руководителем DeepMind, дочерней компании Alphabet: создать организацию, подобную Европейскому центру ядерных исследований (CERN), которая эффективно объединит или унифицирует результаты основных компаний в области ИИ и будет предоставлять новые модели сотрудничающим странам.
Третий путь, который Альтман называет «схемой Элиезера», получил своё название в честь известного теоретика безопасности ИИ Элиезера Юдковски. Его основная логика заключается в том, что когда один из разработчиков ИИ первым достигнет рекурсивного самосовершенствования (RSI), он использует полученную экономическую мощь, чтобы лишить всех остальных разработчиков вычислительных ресурсов, «расплавив все GPU конкурентов».
По поводу третьего пути позиция Альтмана ясна: «Это явно плохо». Он упомянул его только ради «полноты».
Третий путь «Сценарий Элиезера» намекает на Anthropic? По информации осведомленных лиц, из-за связей Юдковского с ключевыми сотрудниками Anthropic, классификация Алтмана «сценария Элиезера» — сосредоточение передовых ИИ под контролем одной компании — некоторыми сотрудниками была воспринята как скрытая критика Anthropic.
Компания Anthropic также активно продвигает свою повестку в области безопасности ИИ. Недавно компания представила законопроект членам конгресса, предложив предоставить Министерству торговли полномочия приостанавливать обучение или использование моделей в лабораториях ИИ, если существует риск причинения ущерба более чем на 1 миллиард долларов США или гибели и тяжелых травм более 50 человек, а также требуя, чтобы лаборатории ИИ проходили как минимум два независимых безопасностных аудита в год.
В то же время генеральный директор Meta Цукерберг и генеральный директор NVIDIA Хуан Ренсюн и другие выступают против, считая, что такое регулирование создаст чрезмерную нагрузку для новых разработчиков и приведет к «регуляторному захвату».
Существуют проблемы координации в отрасли и давление на безопасность: Алтман признал, что оба первых пути требуют масштабной координации между компаниями или правительствами, а OpenAI в настоящее время «не может пойти на уступки в конкурентной среде». OpenAI и её основной конкурент Anthropic ускоряют процесс выхода на IPO.
Внутреннее безопасностное давление также не может быть проигнорировано. Согласно сообщениям, недавние инциденты с безопасностью ИИ привлекли широкое внимание — модели OpenAI, Anthropic, Google и Meta подвергались взломам или использовались для нарушения систем других компаний, а даже собственных систем, несмотря на то, что модели «знали», что не должны предпринимать такие действия. OpenAI сейчас находится в режиме полной готовности, стремясь создать надежные механизмы безопасности до выпуска следующей крупной модели.
Внутренняя культура безопасности OpenAI также вызывает вопросы у сотрудников. Некоторые сотрудники выразили обеспокоенность по поводу обязательств компании по безопасности, поскольку компания уволила трех сотрудников, занимавшихся исследованиями в области безопасности, за «несоответствующее раскрытие информации внешним организациям».
На отраслевом уровне OpenAI, Google и Anthropic совместно создают «Управление стандартов передовых ИИ» (Standards Authority for Frontier AI), планируя запустить его к концу года или в начале 2027 года. Этот орган будет поддерживать независимых оценщиков, встроенных в каждую компанию-разработчика ИИ, чтобы обеспечить внедрение безопасных практик и стандартизировать механизмы отчетности о безопасности и инцидентах. Однако стороны до сих пор не пришли к единому мнению по вопросу, должна ли новая организация самостоятельно проводить тесты на безопасность и возможности или делегировать эти задачи внешним организациям.
Уведомление о рисках и отказ от ответственности
Рынок сопряжен с рисками, инвестиции требуют осторожности. Настоящий материал не является персональной инвестиционной рекомендацией и не учитывает индивидуальные инвестиционные цели, финансовое положение или потребности отдельных пользователей. Пользователям следует самостоятельно оценить, соответствуют ли любые мнения, взгляды или выводы, представленные в этом материале, их конкретной ситуации. Инвестирование на основании данного материала осуществляется на собственный риск.