AI-згенерований короткий звіт: Команда Університету Флориди застосувала недавно доведену тривимірну гіпотезу Курагі до навчання великих моделей, розробивши метод GeoLAN для вирішення проблеми «чорного ящика» в ІШ. Цей метод використовує концепцію «клейкої множини Курагі», що виникла під час доведення гіпотези Курагі, щоб накласти геометричні обмеження на семантичний простір великих моделей, впорядковуючи концепції ще на етапі навчання і роблячи шляхи міркувань ІШ прослідковуваними. Експерименти на моделях Llama-3-8B, Gemma-3-4B та інших показали значне покращення результатів. Крім того, лауреат премії Філдса цього року Якоб Цімерман оголосив у день отримання нагороди про приєднання до OpenAI для роботи з безпекою ІШ, що свідчить про те, що математика та ІШ об’єднуються з безпрецедентною швидкістю.Автор статті, джерело: Leiphone
Математичне та AI-співтовариство сильно взаємодіють
Рівень чисто математичних наукових досягнень уже безпосередньо застосовано в тренуванні великих моделей.
Авторка Xiaohongshu Z9, переглядаючи наукові статті, виявила, що недавно відомий у всьому інтернеті тривимірний гіпотеза Гілберта-Куранта тепер був інтегрований командою Університету Флориди в процес навчання нейронних мереж для вирішення «проблеми чорного ящика» великих моделей.
Їхня стаття називається «GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models», її суть полягає у використанні ключового поняття «клейкий набір Гівата», що виникло під час доведення гіпотези Гівата, для встановлення «правил розташування» у внутрішньому семантичному просторі великих моделей, впорядковуючи заплутані концепції ще на етапі навчання, щоб шляхи міркувань ШІ справді стали відстежуваними.
Справді, спочатку математичні генії відкривали нові землі, а потім дослідники ШІ збирали скарби.
Основна проблема великих моделей: катастрофичне знищення представлення
Почнемо зі “чорної скрині”, яку відчувають усі.
Сучасні великі моделі мають високу точність при розв’язанні задач, написанні коду та аналізі, але коли ви запитуєте: «Як ви прийшли до цього кроку?», вони або не можуть це пояснити, або просто вигадують хибну причину.
Корінь цієї проблеми прихований у базовій характеристиці, яка називається руйнування представлення.
Ви можете уявити семантичний простір великої моделі як надзвичайно великий розумний склад з тисячами рівнів, який теоретично може розмістити безліч понять: логіку, емоції, факти, міркування тощо, кожне з яких займає своє місце.
Але під час навчання Transformer особливо «ліниться» — він завжди намагається зосередити всю семантичну інформацію в невеликій області біля входу до складу, залишаючи 90% простору повністю невикористаним.
Як наслідок, усі концепції згруповані в вузькій високовимірній конічній області, що в академічних колах називається «анізотропією».
А наслідки тісного згуртування призводять до багатьох проблем.
Наприклад, сплутаність понять примушує змішувати зовсім непов’язані речі в одному напрямку, змушуючи нейрон одночасно реагувати на «кота» та активувати «біблійні вірші».
І ти зовсім не можеш розрізнити, яка частина представлення відповідає якій логічній лінії — навіть сама модель не може відновити справжній шлях міркувань.
Коли близькі, але різні поняття зводяться разом, легко заплутатися; трохи змінивши питання, ШІ може почати брехати.
У цьому звіті є точне узагальнення: кілька «зловживальних вимірів» домінують у більшості дисперсії інформації, повністю витрачаючи ефективну ємність моделі.
Ця проблема є недоліком майже всіх основних архітектур Transformer — від GPT, Llama до Gemma.
У такій ситуації раніше галузь зазвичай застосовувала підхід «вирішення проблем після виникнення»: чекала, поки модель навчиться, а потім використовувала інструменти, такі як розріджений автокодувальник, щоб примусово розділити заплутані поняття.
Але результати, отримані таким методом, лише «виглядають логічно» і не обов’язково відповідають реальній логіці моделі, завжди відбувається втрата точності.
Зараз GeoLAN змінив підхід: не чекайте, поки все збентежиться, а ще на початку розташуйте все за правилами. Під час навчання додавайте геометричні обмеження до простору представлення, щоб кожен концепт опинився на своєму місці.
Як гіпотеза Каваї пов’язана з ШІ?
Щоб зрозуміти ідею GeoLAN, спочатку треба знати, про що йдеться в гіпотезі Окія.
У 1917 році математик Согорі Кагура поставив наступну, на перший погляд просту, але протягом піввіку мукувавшу математичну спільноту задачу: яку найменшу площу може охопити голка довжиною 1 см, якщо її повернути на 360 градусів на поверхні стола?
Ви можете подумати, що, зробивши повний круг, обов’язково отримаєте певну площу. Але математики виявили, що її можна зробити майже рівною 0.
Як це зробити?
Якщо ви заставите голку обертатися та ковзати одночасно, вона зможе описати фігуру з майже нульовою площею. Іншими словами, у двовимірному світі ви можете помістити всі можливі геометричні траєкторії в надзвичайно маленький куток.
Виклик ще більше посилюється: а якщо це в тривимірному просторі? Коли ця голка може обертатися в усіх напрямках — вгору, вниз, вліво, вправо та в безлічі інших об’ємних напрямків — якої мінімальної величини повинен бути простір, щоб усі ці голки в усіх напрямках помістилися в ньому?
За досвідом двовимірного простору, у тривимірному просторі абсолютний об’єм цієї фігури все ще можна стиснути майже до нуля.
Але тут виникає нова загадка: хоча ця фігура порожня і не має об’єму, чи не стискається і не деградує вона також на мікроскопічному рівні? Математики ввели поняття «фрактальна розмірність», щоб виміряти щільність її скелета.
Нарешті Ван Хун та інші виявили, що навіть якщо ви максимально висушите об’єм графіка, його внутрішній каркас, що переплетений для врахування кожної голки, зберігає щільну «тривимірну насиченість» і не втрачає нічого на мікроскопічному рівні. Саме це є величезним досягненням Ван Хун у вирішенні столітньої проблеми.
Саме в цьому складному доказі виникло надзвичайно важливе поняття, зване «клейким набором Гончарова».
«Липкість» — це просто набір правил, що запобігають зближенню сегментів і трубок.
Якщо група труб дотримується цих правил, вони рівномірно розташуються, і простір залишиться таким, яким і був; але якщо вони не дотримуються правил і всі згуртуються в одному кутку, «розмір» простору зменшиться, і він буде виглядати як стиснутий.
До цього моменту ви вже повинні зрозуміти: катастрофа представлення великих моделей — це не що інше, як «семантична трубка не задовольняє умову в’язкості, і все зібрано разом»?
Те, що робить GeoLAN, — це безпосередньо застосувати математичний висновок гіпотези Гу-Гу як інженерний стандарт: оскільки математично строго доведено, що «задовольняє в’язкість, простір не руйнується», ми додаємо до семантичного простору великих моделей такий самий в’язкий обмеження, щоб їхні представлення природньо не збиралися в купу.
Потрібно включити це правило в процес навчання, суть якого — створити кількісно оцінювану функцію штрафу, тобто правило, яке модель може обчислити і знати, як виправити.
Потім GeoLAN розробила дві системи штрафів, які перетворили геометричні правила гіпотези Гео на цілі для навчання. Одна з них — KT-CW, яка бореться зі «семантичним згущенням»; інша — KT-Attn, яка бореться з «ліністю уваги».
KT-CW, простими словами, полягає у випадковому виборі різних напрямків у семантичному просторі під час навчання. Якщо виявляється, що певний напрямок містить надто багато семантичної інформації, модель отримує штраф. Це змушує модель рівномірно розподілити знання по всіх кутках високовимірного простору, використовуючи всі раніше не використані виміри, щоб з кореня вирішити проблему «забитості».
Інша система KT-Attn спеціально призначена для боротьби з лінією уваги. На пізніх етапах навчання у великих моделей увагові головки часто стають серйозно гомогенізованими: багато головок постійно зосереджуються лише на одному й тому самому слові та одній і тій самій позиції, а ефективно працюючих ресурсів майже немає. Це правило строго вимагає, щоб кожна увагова головка зосереджувалася на абсолютно різних семантичних областях, забезпечуючи повний охоплення уваги та повністю виправляючи явище розпаду рангу увагових головок.
Після цієї серії дій ефект був миттєвим.
На Llama-3-8B GeoLAN зміг перетворити сплюснуте конічне простір представлення на гладку сферичну форму, значно зменшивши ступінь стиснення та суттєво підвищивши рівномірність у всіх напрямках, зберігаючи при цьому точність завдання.
На Gemma-3-4B точність MMLU зросла з 0,59 до 0,60, що становить приблизно 0,75 відсоткових пункта. Семантична стабільність TruthfulQA значно покращилася.
На більш масштабній моделі Gemma-3-12B показник упередженості також значно знизився на статистичному рівні.
Цікаво, що в роботі також було виявлено цікаве явище, яке називається «зона Золотистої Рибки».
Тобто рівномірний розподіл цих суворих геометричних обмежень для моделей з надто малою кількістю параметрів стає катастрофою; малі моделі природно потребують заплутання концепцій для екстремального семантичного стиснення, і нав’язливе розбиття лише повністю погіршує внутрішню геометричну структуру.
Щодо надвеликих моделей, масштабний процес попереднього навчання вже сам по собі створив надзвичайно складну многовидну структуру; додавання цього набору правил не лише не підходить, а й знижує загальну продуктивність.
Найкращого ефекту досягають саме моделі середнього розміру, такі як з чотирма до вісімдесяти мільярдів параметрів, які мають достатньо простору, щоб повністю використати переваги рівномірного розподілу.
Крім того, у статті було виведено витончений теорему — «теорему семантичної липкості»: коли представлення задовольняє «правило витіснення», різні семантичні концепції автоматично розкладаються на підпростори, які наближено взаємно перпендикулярні, що автори статті образно назвали «зернами». Кожен підпростір може бути незалежно інтерпретований та налаштований, що робить проблему «чорного ящика», що тривалий час ставила перед галуззю труднощі, прозорою.
Стаття з ACL, яка витягла гіпотезу Окія зі сфері чистої математики до інженерії ШІ.
Лауреат Філдсовської премії, якого було оголошено у той самий день, приєднався до OpenAI
Ще одним варто зазначити, що серед лауреатів цього року Філдсівської премії є відомий математик Якоб Цімерман, який у день отримання нагороди безпосередньо оголосив, що збирається швидко приєднатися до OpenAI для роботи в напрямку безпеки ШІ.
Це змушує звернути увагу на тісний зв’язок передових математичних методів з ІІ.
Рік тому він спільно з дослідником з Берклі з питань безпеки ШІ Ендрю Крітчем написав статтю «A Taxonomy of Omnicidal Futures Involving Artificial Intelligence», створивши за допомогою математичної строгості детальну класифікацію шляхів ризиків ШІ.
Він сам є серйозним受益ником ШІ: у 2025 році п’ять його математичних статей були опубліковані на arXiv, і він прямо сказав, що ШІ подвоїв ефективність його наукових розробок.
Ще більш драматично: за три дні до вручення премії хтось за допомогою останньої версії Claude Fable 5 від Anthropic за одну ніч спростував гіпотезу Якобі, яка була під висновком 87 років, викликавши потрясіння в усьому математичному світі. Цей хтось — його студент Левент Альпёге.
Стикаючись зі зростанням ШІ, який все ближче й ближче підходить до і навіть перевершує інтелект найкращих математиків, сам відомий математик Тімоті відкрито зазначив: це перший раз у його житті, коли велика мовна модель легко вирішила всесвітньо відому столітню проблему в галузі, з якою він повністю не знайомий.
Зв’язок між математикою та ШІ вже перевищив межі, які може описати слово «нерозривний» — вони об’єднуються з дивовижною швидкістю.
За останній рік штучний інтелект продемонстрував чудові результати в математичних змаганнях: від срібної медалі AlphaProof від DeepMind на Міжнародній математичній олімпіаді, до того, як моделі міркування від OpenAI розв’язали восьмидесятирічну гіпотезу Ердеша про одиничну відстань, а потім GPT-5.6 за одну годину розв’язав гіпотезу про циклічне подвійне покриття, і Claude Fable 5 за одну ніч розв’язав гіпотезу Якобі. За два місяці штучний інтелект поспіль встановив кілька столітніх рекордів, і швидкість розв’язання складних задач продовжує зростати експоненційно.
У інтерв’ю з AMS Якоб відкрито сказав: «У математичній спільноті існує велика кількість самозаспокоєння: люди бачать, що ШІ зараз поступається математикам, і висновують, що він ніколи не буде кращим». Він власним досвідом довів, що хоча доведення моделі «неповні й нестрогі», вони «зазвичай дають загальну правильну методологію, яка допомагає пройти вісімдесят відсотків шляху».
Він навіть вважає, що протягом двох років ШІ повністю перевершить людину в математичних доведеннях.
Тоді виникає питання: у 2030 році, через чотири роки, чи буде ще людський лауреат премії Філдса?
Премія Філдса має чіткий віковий ліміт: лауреати повинні бути молодшими за 40 років. Це означає, що якщо ШІ протягом наступних чотирьох років систематично перевершить здатність людських математиків до оригінальних відкриттів, комітет з присудження отримає безпрецедентну дилему: чи ви нагороджуєте особу, яка зробила найкращу математичну роботу, чи особу, яка зробила найкращу математичну роботу серед людей?
Ще цікавішим є двостороннє прискорення між математикою та ШІ. Лише через три місяці після доведення тривимірної гіпотези Гідзі було створено GeoLAN — чисто математичний результат безпосередньо перетворився на інструмент для навчання великих моделей. Які нові можливості ШІ з’являться завтра на основі гіпотези Андре—Оорта та прориву у шостій проблемі Гільберта, які були відзначені сьогодні на Філдсовій премії?
Раніше завжди казали, що математики йдуть вперед і розробляють нові території, а AI підбирає знайдені скарби. Але зараз той, хто підбирав скарби, вже сам почав прокладати шлях.