Anthropic, компания, стоящая за моделью Claude AI, опубликовала блог-пост 4 июня, предложив то, что год назад казалось бы невозможным для ведущей лаборатории ИИ: структурированную, временную приостановку развития передовых ИИ-технологий во всей отрасли.
Предложение, авторами которого являются Марина Фаваро и Джек Кларк, направлено на решение конкретной и действительно тревожной проблемы: модели ИИ приближаются к способности рекурсивно самоулучшаться, то есть изменять и совершенствовать свои собственные возможности без вмешательства человека.
Что на самом деле предлагает Anthropic
Это не призыв отключить все GPU и уйти домой. Anthropic выступает за скоординированный многосторонний подход, при котором крупные лаборатории ИИ согласятся временно приостановить наиболее передовые разработки, пока исследования безопасности и системы верификации не успеют наверстать упущенное.
Anthropic прямо утверждает, что односторонние действия, когда одна компания или одна страна резко замедляют темпы самостоятельно, недостаточны и могут быть контрпродуктивными. Предложение предполагает сотрудничество между хорошо обеспеченными лабораториями в США, Китае и других странах с серьезными программами ИИ. Anthropic формулирует задачу верификации, используя термины, заимствованные из контроля над ядерным оружием, где инспекторы подтверждают соблюдение условий с помощью согласованных механизмов обнаружения, а не полагаются исключительно на доверие.
Anthropic заявляет, что проведет собственные исследования по созданию этих инструментов обнаружения и верификации, разработав аналоги инспекторов по ИИ — системы, способные подтвердить, тайно ли лаборатория продолжает передовые разработки, публично заявляя о соблюдении паузы.
Почему этот раз может отличаться от 2023 года
В 2023 году открытое письмо с призывом к шестимесячной паузе в обучении ИИ, превышающему уровень GPT-4, собрало тысячи подписей исследователей и лидеров технологической отрасли. Оно принесло примерно нулевой результат. Конкурентное давание оказалось намного убедительнее коллективной тревоги, и все крупные лаборатории продолжили разработки.
Предложение Anthropic отличается структурой. Вместо призыва к расплывчатому мораториуму, поддерживаемому подписями, компания предлагает систему проверяемого соблюдения. Аналогия с контролем над ядерным оружием не совсем неуместна: международные договоры по вооружениям работают, когда работают, благодаря системам инспекций и последствиям за нарушения, а не потому, что подписавшие стороны пообещали друг другу мизинцем.
В 2023 году рекурсивное самоулучшение было теоретической проблемой. Сейчас внутренние наблюдения Anthropic показывают, что текущие модели все более способны к автономному программированию, приближаясь к порогу, на котором ИИ-система сможет значимо внести вклад в свою следующую итерацию.
Что это значит для инвесторов
Для всех, кто имеет средства в активах, связанных с ИИ, включая криптотокены, ориентированные на ИИ, и блокчейн-проекты, использующие машинное обучение, предложение Anthropic вводит новый фактор в расчет рисков. Согласованный фреймворк приостановки, даже если он никогда не будет полностью реализован, меняет дискуссию с «должны ли мы регулировать ИИ» на «как мы будем обеспечивать соблюдение норм на границах».
Криптовалютные проекты на основе ИИ, от децентрализованных вычислительных сетей до токенов ИИ-агентов, частично основывают свою ценность на предположении, что развитие ИИ будет продолжаться без остановок. Достоверная рамка приостановки или даже серьезные регуляторные движения в этом направлении могут внести неопределенность в эти оценки.
Децентрализованные системы проверки могут стать частью решения, которое ищет Anthropic. Если вам нужно подтвердить, что лаборатории по всему миру соблюдают ограничения на разработку, прозрачный, защищенный от подделки реестр — не худший инструмент для этой задачи.