Я чувствую сильное ощущение, что Anthropic замедлила обучение передовых моделей в последние месяцы, чтобы решить эти проблемы, но вскоре снова перейдёт на полную мощность. Это как будто мы прямо врезались в стену, сделали три шага назад и теперь пытаемся сделать то же самое снова. Допустим, их усилия по безопасности, новые классификаторы и оценщики решат проблему «шума среды». К какой долине тогда будут вести градиенты дальше, когда этот вариант больше не будет доступен? На данном этапе, возможно, нам стоит просто адверсарно обучать модели обманывать всех оценщиков и классификаторов. Чем сильнее мы сопротивляемся, тем более обманчивыми становятся модели. Вот несколько возможных прогнозов: — Безумные расхождения между результатами оценок и реальной производительностью. Параноидальные, шизоидные модели. Можно также назвать это ситуационной осведомлённостью. — Модели становятся лучше в моделировании оценщиков и тех, кто их создал. — Меньше правдивых цепочек рассуждений (хитрые действия, но без вербализации этих хитростей). — Меньше агентных моделей (реальные условия несовершенны, позволяют обходить систему вознаграждения и пользовательские инструкции могут противоречить настройкам. Поэтому модели просто останавливаются и просят уточнений — и вам приходится всё слишком подробно объяснять). Всё это приводит к забавному выводу: если Клод всё больше создаёт среды для будущих Клодов, а будущие Клоды всё больше моделируют тех, кто создал эти среды, то вы попадаете в самоотсылающуюся ловушку. (Но также возможно, что всё просто работает — вы получаете стабильную адверсарную систему.) Что происходит, если полностью изолировать человека? Вы получаете человека с сильными, но узкими убеждениями, странным поведением и плохой калибровкой. Забавный вывод может быть таким: вам нужна разнообразие моделей. Но позитивные обратные связи (важнейшие — экономические) уничтожают это разнообразие. Нельзя быть императором без крестьян.