Генеративні моделі можуть працювати повільно через те, як ми їх навчаємо. Коли багато вихідних значень є дійсними, навчання реконструктивної моделі передбачити одне з них за один крок може змусити її вихід наближатися до середнього значення цих можливостей. Моделі дифузії та авторегресивні моделі уникну цього, розбиваючи генерацію на менші кроки, які потрібно повторювати під час висновку. Найпростіша версія експлоративного моделювання генерує кілька можливих вихідних значень для кожного навчального прикладу та вчиться на тому, що найкраще відповідає цілі. Це дозволяє моделі вловлювати різні дійсні вихідні значення, а не усереднювати їх разом. Додання до потужної базової моделі генерації зображень дозволило досягти кінцевої продуктивності базової моделі, обробивши на 6,2 рази менше навчальних вибірок та використавши на 4,1 рази менше FLOPs. Це також покращило відео- та масковано-дифузійні мовні моделі. У окремих експериментах з масштабуванням виграші зростали разом із збільшенням розміру моделі та обсягу навчальних даних. Повністю енд-ту-енд експлоративні моделі досягли результатів, порівняних із базовими моделями дифузії, при цьому використовуючи до 256 разів менше оцінок мережі під час висновку. Експлорація може допомогти моделям розв’язувати більше невизначеності під час навчання, тому їм потрібно менше кроків для генерації вихідного значення.
MintyПоділитися

Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.