Несмотря на то, что в понедельник внешнее внимание в основном было сосредоточено на последних финансовых данных, раскрытых Anthropic в пересмотренном файле S-1A — доходы резко выросли, а расходы также увеличились, — эта лаборатория ИИ также выбросила еще один «маленький бомбу» в деталях документа.
Этот документ, похоже, предупреждает, что компания приближается к созданию модели с рекурсивным самоулучшением (recursive self-improvement, RSI).
RSI означает, что ИИ стал достаточно сильным в обучении самого себя, чтобы вызвать драматическое ускорение возможностей ИИ. Для сторонников апокалиптических сценариев ИИ RSI означает катастрофу без возврата: ИИ создает себя настолько мощным, что выходит из-под контроля человека и может игнорировать ущерб, наносимый в процессе достижения своих целей.
Для оптимистов, верящих в ИИ, RSI или какая-либо надежная версия ИИ, способная улучшать себя, представляет собой обещание этой технологии: она станет инструментом, способным достичь невообразимой производительности, научных открытий и других результатов.
Anthropic, похоже, считает, что RSI — это как обещание, так и риск. В документе S-1 компания заявляет, что использует ИИ в научно-исследовательских и опытно-конструкторских работах, но одновременно предупреждает: «Использование ИИ для создания более мощного ИИ также может нести значительные риски безопасности, особенно если это значительно ускорит прогресс. Это одна из областей, охватываемых нашей политикой ответственного масштабирования, которая описывает наши планы по мониторингу и смягчению рисков при приближении к так называемому «рекурсивному самоусовершенствованию».»
Когда термин RSI стал популярным в начале этого года, многие считали его просто модным словом или, в лучшем случае, чрезмерно сложной, труднодостижимой, неопределенной или неподтверждаемой целью.
Однако в понедельник Anthropic добавила в раздел «Факторы риска» следующие формулировки: 1) компания использовала ИИ для разработки некоторых новых моделей, но тогда не осознавала их резкого повышения возможностей; 2) компания может вскоре достичь своего внутреннего определения RSI (выделение жирным шрифтом — оригинал):
Кроме того, мы все чаще используем ИИ-системы для ускорения собственных исследований и разработок, что может привести к тому, что скорость повышения возможностей наших моделей будет превышать скорость разработки, проверки и внедрения соответствующих мер безопасности, согласованности и защиты. Следовательно, мы могли не распознать в прошлом и можем не распознать в будущем значительное ускорение темпов исследований и разработок, пока оно уже не произойдет.
Например, наши внутренние оценки и ожидания в отношении будущих моделей, а не текущих моделей, указывают на то, что мы можем приблизиться к определению «значительного ускорения прогресса, обеспечиваемого ИИ» в Политике ответственного масштабирования. Мы не признали ни одну из текущих моделей превышающей этот порог и продолжаем оценивать соответствующие базовые данные.
Однако Anthropic также указала в документе, что ни одна из ее моделей на данный момент не преодолела этот порог RSI, и компания обязалась продолжать включать людей в процесс разработки в обозримом будущем. Компания заявила: «Мы ожидаем, что безопасное использование Claude для полностью автономного проектирования и создания последовательных поколений передовых моделей невозможно без значимого человеческого контроля или понимания, даже если и когда это станет технически возможным. Поэтому мы рассматриваем обновление Политики ответственного расширения, чтобы сохранить человеческий контроль над разработкой передовых моделей Anthropic».
Скептики могут указать, что S-1 является как раскрытием информации, так и маркетинговым материалом, и утверждение о приближении к мощной модели, способной самосоздаваться, возможно, относится ко второй категории.
Однако бесспорно, что способности Claude, особенно в области программирования, математики и кибербезопасности, за этот год достигли прорывного прогресса. Если Anthropic считает, что вероятность RSI уже близка, мы, возможно, должны доверять этому и действовать соответственно — возможно, даже провести соответствующее управление.
