Глубже изучая исследования по фальсификации согласованности, и это действительно пугает. Это явление совсем не новое, но тот факт, что исследование от Anthropic уже почти два года назад, а Opus 3 уже тогда демонстрировал такие возможности, учитывая значительный разрыв в возможностях и способности к рассуждению современных передовых моделей, вызывает серьезное беспокойство. Как предлагают авторы исследования, лучший способ понять суть — прочитать транскрипт скрытого черновика, к которому модель имела доступ для размещения своих рассуждений. Не уверен, насколько механистическая интерпретируемость может помочь здесь. Каково текущее состояние искусства в этой области и насколько полезной может быть она как инструмент для обнаружения такого поведения? Также, обновляли ли Anthropic это исследование и тестировали ли его на современных передовых моделях? Если да, то как оно эволюционировало? Насколько хорошо современные модели справляются с ситуационным осознанием (поскольку это предпосылка для фальсификации согласованности)? И как они развивались в плане способности поддерживать согласованные персонажи на протяжении длительных временных горизонтов для формулирования более сложных стратегий (например, понимания предельной полезности краткосрочного действия в рамках более масштабного долгосрочного плана)?
