Одно, что бросилось мне в глаза в ExpRL, — это то, что он раскрывает ограничение нашего нынешнего понимания прогресса ИИ. Большинство тестов измеряют только то, приходит ли модель к правильному ответу. Они редко оценивают, сколько полезных идей было исследовано и отброшено на пути к нему. Человеческие инновации часто возникают из неудачных попыток, а не из идеальных. Учёный может проверить сотни неверных гипотез, прежде чем найти правильную. Однако традиционное RL считает каждую неудачную траекторию одинаково бесполезной. ExpRL предполагает, что внутри этих неудач может скрываться ценная информация. Эта идея важна далеко за пределами математических тестов. По мере того как ИИ-агенты становятся более способными, победителями могут стать не те модели, которые находят ответы быстрее всего, а те, которые больше всего учатся на своих ошибках. Вот почему проверка имеет значение. Без надёжных способов оценки промежуточных рассуждений и результатов мы не можем отличить продуктивное исследование от чистой галлюцинации. Будущее ИИ может зависеть не столько от генерации ответов, сколько от понимания, какие ошибки стоят того, чтобы из них учиться. @ritualnet