GPT-6 Astra від OpenAI досягла 97,6% у FrontierMath Tier 4

Найновша міркувальна модель OpenAI, GPT-6 Astra, запущена 3 вересня з результатом 97,6% у FrontierMath Tier 4 (v2). Це той самий показник, який змушує перепроверити, особливо коли дізнаєшся, що попередня внутрішня версія моделі мала здатність розв’язувати математичні завдання лише на 17%.

Траєкторія від 17% до 47% у внутрішніх тестах, а потім до майже ідеалу на публічних тестах, стискає те, що зазвичай відчувається як роки прогресу, в один цикл розробки.

На ARC-AGI-3, оціненому за допомогою власної системи оцінювання OpenAI, Astra показала результат 99,9%. На ExploitBench вона досягла ідеального 100%. GPQA Diamond, бенчмарк з наукових міркувань на рівні аспіранту, показав 96,0%. Terminal-Bench Science 0.1 дав результат 64,6%.

Результат FrontierMath Tier 4 (v2) є головним показником. GPT-5.6 Sol, попередник Astra, набрав 83,0% за тим самим тестом. Результат Astra у 97,6% означає покращення на 14,6 процентних пункта.

Ранні версії моделі, яка стала Astra, показували близько 17% у тестах з математичних здібностей. За допомогою ітеративних покращень цей показник зрос до приблизно 47% перед тим, як модель була додатково оптимізована для публічного випуску.

OpenAI також вдячна Astra за нові ідеї щодо проміжків між простими числами — дуже складної галузі теорії чисел, яка протягом століть займає людських математиків.

Розгортання Astra проводилося поетапно. На день запуску доступ отримали обрані організації, а потім — широкий доступ для підписників ChatGPT Plus, Pro, Business і Enterprise. Доступ до API доступний безпосередньо через OpenAI, а також через Azure та AWS Bedrock.

Незалежні оцінки віднесли Astra до найкращих AI-моделей, які зараз доступні, хоча деякі оцінки зазначають, що певні варіанти Claude від Anthropic випереджають її у тестах на загальну інтелектуальну здатність.

Зростання з 83,0% до 97,6% на FrontierMath за одну генерацію моделі свідчить, що потенціал штучного інтелекту в математичних міркуваннях, якщо він взагалі існує, ще не досягнуто.