Одна річ, що викинулася мені в очі щодо ExpRL, — це те, що вона розкриває обмеження того, як ми зараз розуміємо прогрес штучного інтелекту. Більшість тестів вимірюють лише те, чи модель досягає правильної відповіді. Вони майже ніколи не вимірюють, скільки корисних ідей було досліджено й відкинуто на шляху до неї. Людська інновація часто виникає з невдалих спроб. Не з ідеальних. Вчений може перевірити сотні неправильних гіпотез, перш ніж знайти правильну. Але традиційне підсилене навчання вважає кожен невдалий шлях однаково безцінним. ExpRL пропонує, що всередині цих невдач може приховуватися цінна інформація. Ця ідея важлива далеко за межами математичних тестів. Коли агенти ШІ стануть більш здатними, переможцями можуть стати не ті моделі, які знаходять відповіді найшвидше, а ті, які найбільше вчаться на помилках. Саме тому важлива верифікація. Без надійних способів оцінки проміжних міркувань і вихідних даних ми не можемо розрізнити продуктивне дослідження від чистої галюцинації. Майбутнє ШІ може залежати менше від генерації відповідей і більше від розуміння, які помилки варто вивчати. @ritualnet