Андрій Карпафі передбачає, що для досягнення постійного навчання LLM знадобиться 10 років

Останнім часом ми повідомляли про багато стартапів та дослідження, спрямованих на «постійне навчання», наприклад: «Mind Lab неперервно публікує нові досягнення LoRA: з’являється нова парадигма постійного навчання великих моделей», «Прощавайте з обмеженнями KV Cache: вбудовування довгого контексту у ваги — чи є надія на постійне навчання великих моделей?», «ICML 2026 | Подолання меж! Університет Гонконгу розробив першу архітектуру постійного навчання, що підходить для 300+ завдань, вирішуючи проблему забування», «Може зробити DeepSeek Саморозвиваючий Harness! Автор LlamaFactory відкрив новий інструмент: автоматичне створення Agent за 0,2 юаня. >>> Коли «збільшення» більше не є єдиним шляхом — ще одна китайська модель відкрита. >>>

Так, досить інтенсивно, «постійне навчання» також стає одним із найчастіших ключових слів, з якими ми зустрічаємося. Це також вказує на повторюване твердження.

У жовтні 2025 року Андрій Карпаці на подкасті Дваркеша Пателя сказав: «Сучасні великі моделі не мають постійного навчання. Ви не можете сказати їм щось і очікувати, що вони це запам’ятають». Він вважав, що виправлення цих когнітивних недоліків займе ще приблизно десять років. Два місяці потому, у своєму річному огляді він помістив це твердження в більш широкий контекст: стрибок у здатностях моделей у 2025 році в основному був досягнутий завдяки підсиленому навчанню з перевірними нагородами (RLVR), але в усьому стеку технологій LLM пам’ять, багатомодальне сприйняття, постійне навчання та здатність керувати комп’ютером залишаються очевидними слабкими місцями: «У нас є прототипи, але ще немає інтелектуальних агентів, яких можна було б використовувати як колег».

Постійне навчання (Continual Learning, також відоме як життєве навчання/Lifelong Learning) стало одним із найпопулярніших понять за останній рік.

Це означає, що модель після розгортання здатна постійно вивчати нові завдання, нові знання та новий досвід, подібно до людини, не забуваючи при цьому того, що вже засвоїла.

Це звучить очевидно, але на практиці це надзвичайно складно — настільки складно, що стає найскладнішим викликом на шляху до створення «AI-колеги». І наведений вище рядок новин показує, що цей шлях вже не є однією дорогою, а кількома різними маршрутами, які одночасно просуваються вперед.

За останній рік академічна та промислова спільноти розробили кілька різних технічних напрямків щодо того, як зробити модель «вчиться під час використання». Хтось додає пам’ять ззовні моделі, хтось постійно змінює ваги, хтось повністю переобучає модель, а новіші підходи намагаються перевизначити саме поняття «навчання». У цій статті ми розглядаємо кожен з цих напрямків, пояснюючи, на що вони роблять ставку та де зустрічають перешкоди.

Основною перешкодою для постійного навчання є спеціальний феномен, відомий як катастрофічне забування. Знання нейромережі зберігаються в десятках мільярдів ваг, і коли ви доналаштовуєте модель новими даними, оновлюючи ці ваги, модель, засвоюючи нові завдання, часто перезаписує параметри, що несуть старі здібності, що призводить до різкого падіння продуктивності у завданнях, які раніше виконувала добре.

Діаграма катастрофічного забування. Коли штучна глибока нейронна мережа послідовно навчається на двох завданнях, вона швидко і повністю забуває перше завдання під час навчання другого.

Це явище було активно досліджуване в епоху малих моделей, але у великих мовних моделях воно викликає нові проблеми. Бенчмарк TRACE, спеціалізований на оцінці неперервного навчання LLM, виявив, що послідовна доналаштування вже вирівняної моделі не лише призводить до забування старих завдань, але й погіршує загальні здібності та здатність виконувати інструкції. Іншими словами, навчаючи модель новій речі, ви можете втратити її загальну інтелектуальну здатність та підпорядкованість.

Саме через такий великий ризик, пов’язаний зі зміною ваг, «постійне навчання» розгалузилося на кілька напрямків. Їхнє фундаментальне розбіжність полягає в тому, що вони по-різному вирішили питання «змінювати чи не змінювати ваги» та «де зберігати нові знання».

Найпростіший і найшвидший підхід: не змінювати ваги моделі, а зберігати нові знання у зовнішній базі даних і витягувати їх у контекст при необхідності. Цей підхід еволюціонував від RAG (пошуково-підсиленого генерування) і зараз став окремою галуззю: пам’ять агента (Agent Memory).

Репрезентативною роботою є MemGPT (компанія, що стоїть за нею, зараз змінила назву на Letta). Вона порівнює керування контекстом LLM із керуванням пам’яттю в операційній системі, розрізняючи обмежений «робочий контекст» і більший «зовнішній сховище», дозволяючи моделі самостійно вирішувати, що вантажити в контекст, а що записувати до архіву.

Відповідно до цієї ідеї, серія систем має різні акценти: Mem0 зосереджена на виробничому, масштабованому доступі до довгострокової пам’яті; Zep додає часову знаннєву графу до пошуку для обробки часових висновків між сесіями; A-MEM запозичує методику карткової системи (Zettelkasten), надаючи кожній пам’яті структуровані мітки та автоматично пов’язуючи її з відповідними попередніми записами, щоб пошук був більш контекстно-орієнтованим.

Карпатський також вкладає кошти в цей напрямок. Він неодноразово підкреслював, що майбутнє потребує не «більших жорстких дисків» пам’яті, а стислого «когнітивного ядра» (cognitive core, за його оцінкою, достатньо одного-двох млрд параметрів) разом із структурованою зовнішньою пам’яттю, яка здатна самостійно збільшувати свою вартість.

На основі цієї ідеї він опублікував на GitHub модель під назвою «LLM Wiki»: замість того, щоб кожного разу запитувати оригінальні тексти за допомогою RAG, агент активно компілює інформацію у постійно оновлюваний, взаємопов’язаний базис знань, а потім запитує його.

Документація LLM від Карпатського отримала майже 45 тисяч зірок і була форкнута більше 9 тисяч разів

Летта сама підняла цю ідею до рівня тези «постійне навчання в просторі токенів». Вони зазначили, що сьогодні домінуючою практикою є «спочатку додавання, потім стиснення»: початковий досвід постійно накопичується до переповнення контексту, а потім стискається до стислого підсумку. Це має дві проблеми: додавання переносить всю роботу з представлення на момент висновку, вимагаючи повторної обробки початкових журналів під час кожного прямого проходу; а стиснення є втратним і різким — важливі деталі зникають без попередження. Гіпотеза Letta полягає в тому, що пам’ять, здобута в просторі токенів у майбутньому, буде ціннішою, ніж ваги самої моделі.

Переваги цього підходу — безпека, контрольованість і пояснюваність; якщо зроблено помилку, її завжди можна видалити. Недолік — він не інтегрує знання безпосередньо в модель, а кожен раз залежить від пошуку та контексту як вузького проходу; коли база пам’яті зростає, точність та вартість пошуку стають обмеженнями.

Крок далі від використання зовнішньої пам’яті — це більш досконалий підхід: не змінювати ваги, а дозволити самому контексту, що подається моделі, постійно еволюціонувати. Це називається інженерією контексту (Context Engineering).

У жовтні 2025 року ACE (Agentic Context Engineering), запропонований Стенфордом, SambaNova та UC Берклі, є прикладом такого підходу. Він розглядає контекст як постійно розширювану «книгу стратегій» (playbook), яку підтримують три ролі: Generator відповідає за генерацію логічних траєкторій, Reflector виділяє конкретний досвід з успіхів і невдач, а Curator структурує цей досвід у вигляді інкрементних оновлень та об’єднує їх у книгу.

ACE призначений для вирішення двох загальних проблем таких методів. Перша — «схильність до стислості» (brevity bias): коли LLM повторно переписує контекст, він схильний стискати й втрачати спеціалізовані деталі; друга — «колапс контексту» (context collapse): повторне переписування призводить до поступової втрати деталей.

ACE використовує інкрементні мінімальні зміни (delta updates), а не повне переписування, щоб уникнути цих двох проблем. Згідно з даними статті, ACE покращує результати на завданнях агентів на 10,6% і на фінансових міркуваннях на 8,6%, одночасно зменшуючи затримку адаптації приблизно на 86,9%; у рейтингу AppWorld за допомогою менших відкритих моделей DeepSeek -V3.1 разом з ACE середній бал може досягти рівня виробничого інтелектуального агента IBM CUGA на основі GPT-4.1.

Варто зазначити, що ACE підкреслює, що він може працювати без позначеної освіти; він використовує природні сигнали зворотного зв’язку, що виникають у процесі виконання (наприклад, чи пройшов код, чи виникла помилка), щоб керувати рефлексією та організацією. Це поєднує його з більшою історією про «агентів, які вчаться на власному досвіді».

Використання зовнішньої пам’яті та інженерії контексту уникнуло ризику зміни ваг, але також уникнуло справжнього засвоєння знань. Інша група дослідників вважає, що в довгостроковій перспективі деякі знання та навички все ж мають бути записані у параметри. Це називається постійним післянавчанням (Continual Post-training) і в основному складається з етапів постійної тонкої настройки за інструкціями та постійного вирівнювання переваг.

Джон Шульман із Thinking Machines запропонував ієрархічний підхід: він порівнює навчання з руховим навчанням, сценічною пам’яттю та процедурною пам’яттю у психології, вважаючи, що навчання в контексті добре справляється з короткостроковими завданнями, а тонка настройка параметрів (включаючи методи, такі як LoRA) додається поверх них, особливо підходячи для завдань, що вимагають великої ємності та справжнього засвоєння знань — коли час розтягується, і навчання в контексті вже не встигає, тонка настройка параметрів виграє.

Найбільшим ворогом цього шляху залишається катастрофічне забування, а недавнім цікавим рішенням став Tinker від Thinking Machines.

Tinker — це їхній перший продукт, запущений у жовтні 2025 року, API для донастройки на основі LoRA, який абстрагує складність розподіленого навчання, залишаючи лише базові примітиви, такі як forward_backward та optim_step, щоб дослідники могли зосередитися на даних та алгоритмах.

Щодо постійного навчання, вони пропонують рецепт під назвою Self-Distillation Fine-Tuning (SDFT): ключова ідея полягає в тому, що звичайне надзорне доналаштування є «відполісним» (off-policy), і модель змушена імітувати токени, які сама ніколи не згенерує, тому кожен новий навичок руйнує попередні; SDFT дозволяє моделі бути власним вчителем, засвоюючи нові навички з демонстрацій, не забуваючи старих. Стартап Trajectory вже використовує Tinker як основну інфраструктуру для своєї платформи постійного навчання.

Згадаємо, що використання LoRA замість повного доналаштування має ще одну практичну перевагу: кілька завдань доналаштування можуть спільно використовувати один і той самий пуловий ресурс обчислень, розподіляючи витрати. Це пояснює, чому «неперервне навчання як сервіс» стає бізнесом: перетворення частих оновлень моделей на API, яке можна викликати за потреби, — саме напрямок, який зараз активно досліджується промисловістю.

Якщо післятренування — це втручання в «поверхневі» шари моделі, то неперервне передтренування (Continual Pre-training, CPT) — це повернення до найглибшого рівня, коли модель продовжується передтренуватися на нових текстах, щоб адаптуватися до нових галузей, нових мов або змінних розподілів знань з часом. Порівняно зі змішуванням старих і нових даних та повним перетренуванням з нуля, CPT базується на вже існуючій моделі і значно ефективніша з точки зору обчислювальних ресурсів.

Його типові застосування включають три аспекти: зсув знань з часом, межмовне розширення та адаптація між галузями. Але ціна також очевидна: численні емпіричні дослідження неодноразово підтверджують, що постійне попереднє навчання вимагає великих обчислювальних витрат і схильне викликати катастрофічне забування вже засвоєних знань. Тому науковці постійно шукають методи постійного попереднього навчання «без повторного відтворення та без анотації завдань», намагаючись досягти беззабування на масштабі великих мовних моделей.

Для більшості компаній витрати на повну повторну попередню підготовку передового моделі є надто високими, щоб бути реалістичними — саме це й є походженням вислову Карпатського: «Великі моделі не підходять для частого повторного навчання». Тому справжнє «повторне попереднє навчання» є переважно варіантом всередині передових лабораторій, тоді як постійне попереднє навчання є більш реалістичною компромісною опцією.

Перші чотири напрямки все ще обертаються в межах бінарної моделі «чіт-код проти зміни ваг». Але за останній рік з’явилися нові дослідження, які намагаються вийти за межі цієї моделі та переосмислити саме навчання.

Одна з ідей полягає в тому, щоб модель сама генерувала навчальні дані та сама вирішувала, як оновлювати себе.

MIT SEAL (Self-Adapting Language Models) — це типовий приклад. При отриманні нового вводу модель генерує «саморедагування» — це природна мова інструкція, яка пояснює, як перебудувати інформацію, які гіперпараметри використовувати для оновлення ваг, а навіть які інструменти викликати для підсилення даних; потім модель на основі цього доналаштовує себе, забезпечуючи тривалі оновлення ваг. Те, які саморедагування є ефективними, навчається за допомогою зовнішнього циклу підсилювального навчання, де сигналом нагороди є продуктивність оновленої моделі у завданнях нижчого рівня.

Версія NeurIPS 2025 додатково підтвердила, що ця адаптивна здатність посилюється зі збільшенням розміру моделі та за допомогою підсилювального навчання зменшує забування. Її автори передбачають модель, яка зможе в процесі міркування самостійно вирішувати: «Чи варто зараз щось вивчити?», перетворюючи одноразовий ланцюжок міркувань на постійну здатність.

Інший, більш радикальний підхід походить від вкладеного навчання (Nested Learning) від Google, опублікованого на NeurIPS 2025. Його суть полягає у перетворенні моделі на набір взаємно вкладених, багаторівневих оптимізаційних задач, кожна з яких має власний «потік контексту» та різну частоту оновлення — архітектура та алгоритм оптимізації в цьому погляді об’єднуються як різні рівні одного й того ж процесу.

Як доказ концепції вони створили самозмінну архітектуру під назвою Hope, яка розширює архітектуру Titans Long-Term Memory двома елементами: необмеженою вкладеністю рівнів навчання та системою «постійної пам’яті» (CMS). Просто кажучи, замість двійкового розподілу на короткострокову та довгострокову пам’ять — цілий спектр модулів пам’яті, що оновлюються на різних часових шкалах.

У експерименті Hope перевершив стандартні Transformer та сучасні рекурентні моделі у завданнях мовного моделювання, довготривалого висновку та неперервного навчання. Цікаво, що пізніші дослідження додали до таких архітектур «сонний» етап — аналогічно тому, як людина під час сну консолідує пам’ять, модель витрачає обчислювальні ресурси між активними сесіями, щоб витягнути корисні абстракції у більш тривалу параметричну пам’ять.

Ще вище за абстракцією — це розповідь про «Еру досвіду» (Era of Experience), запропонована Девідом Сілвером і Річардом Саттоном.

Їхній висновок: у ключових галузях, таких як математика, кодування та наука, знання, які можна витягнути з людських даних, наближаються до межі; щоб продовжити рух вперед, потрібно, щоб ШІ постійно навчався на досвіді, отриманому в результаті взаємодії з оточенням, формуючи замкнений цикл самопостачання даних. Вони вважають початком цієї ери AlphaProof від DeepMind у 2024 році (який отримав медаль IMO шляхом «постійної взаємодії з формальними системами доведення»). Ця історія поєднує постійне навчання, підсилене навчання та автономне дослідження агентів, але також залишає нерозв’язану проблему: хто буде розробляти функції нагород, які перетворюють сирі сигнали на корисні вказівки.

Крім того, існує сусідній напрямок, який легко плутають із неперервним навчанням, але має іншу мету: редагування знань (Knowledge Editing). На прикладі ROME та MEMIT він досягає точного оновлення окремих або пакетних фактів шляхом локалізації та модифікації шарів MLP, що зберігають конкретні факти, без необхідності повного переосвітлення. Однак його мета відрізняється від мети неперервного навчання — редагування знань прагне до точного перекриття певного факту; у сценаріях послідовного, постійного редагування повторні зміни параметрів взаємно заважають одне одному, поступово накопичуючи «токсичність», що призводить до краху моделі, що сприяло розробці таких методів, як WISE та AlphaEdit, спеціально призначених для обробки серійного редагування.

Якщо розглянути ці напрямки разом, зрозуміло, що вони розташовані вздовж осі «де існує знання».

Найзовнішній рівень — це зовнішнє запам’ятовування та інженерія контексту, де знання повністю зберігаються поза моделлю у просторі токенів, що забезпечує безпеку та контроль, але не призводить до справжнього внутрішнього засвоєння; посередині — постійне доопрацювання та постійне попереднє навчання, де знання записуються у ваги, що піднімає межі здатностей, але вимагає зіткнення з катастрофічним забуванням; найглибший, а також найбільш передовий рівень — це нові підходи, що дозволяють моделі самостійно змінювати себе та еволюціонувати, намагаючись зробити сам процес «навчання» частиною здатностей моделі.

Практична спостереження: ці напрямки, найімовірніше, не є взаємовиключними, а будуть взаємодіяти на рівнях. Погляд Шульмана на ієрархічне навчання та ідея Карпатського «когнітивне ядро + зовнішня пам’ять» суттєво говорять про одне й те саме: короткострокові, змінні знання передаються контексту та зовнішній пам’яті, а довгострокові, що вимагають глибокого засвоєння, здатності — тонкій настройці параметрів, кожен виконує свою роль. ACE може еволюціонувати без нагляду за рахунок виконавчих відгуків, SEAL використовує підсилювальне навчання для оптимізації саморедагування — це всі підказують про спільну тенденцію: майбутнє неперервного навчання, ймовірно, полягатиме у тому, що модель сама будет керувати «що вчити та як вчити».

Отже, повертаючись до твердження Карпаті про «ще десять років», чи було вирішено питання постійного навчання? Відповідь, мабуть, така — ще ні, але вже не залишилося повної пустоти. Основна перешкода — катастрофічне забування — досі не була повністю подолана; методи, такі як SDFT та вкладене навчання, все ще лише «зменшують» її, а не «вилікують». Чи можна вирішити постійне навчання лише за допомогою кращого управління контекстом та тонкої настройки, чи потрібні зовсім нові ідеї? Це більш фундаментальне питання навіть Шульман сам визнав, що ще не має відповіді.

Можна з упевненістю сказати, що з 2025 по 2026 рік постійне навчання перетворилося з часто згадуваної «відсутньої здатності» на справжнє активне поле битви з кількома напрямками, де вже з’являються стартапи, що розробляють продукти. Варто продовжувати стежити за тим, який шлях першим перетворить «AI-колегу» з прототипу на реальність.

Посилання для довідки

https://www.lesswrong.com/posts/qBsj6HswdmP6ahaGB/andrej-karpathy-on-llm-cognitive-deficits

https://karpathy.bearblog.dev/year-in-review-2025/

https://www.letta.com/blog/continual-learning/

https://arxiv.org/abs/2510.04618

https://arxiv.org/abs/2402.01364

https://thinkingmachines.ai/tinker/

https://arxiv.org/pdf/2604.05096

https://arxiv.org/pdf/2606.03979

Цей матеріал зі сторінки WeChat «Machine Heart» (ID: almosthuman2014), автор: Machine Heart з постійним навчанням, редактор: Panda