source avatarMinty

Поделиться

Генеративные модели могут быть медленными из-за способа их обучения. Когда существует множество допустимых выходов, обучение реконструктивной модели предсказывать один из них за один шаг может смещать её результат в сторону усреднённого значения этих возможностей. Модели диффузии и авторегрессивные модели избегают этого, разбивая генерацию на меньшие шаги, которые необходимо повторять при выводе. Простейшая версия эксплоративного моделирования генерирует несколько возможных выходов для каждого обучающего примера и обучается на том, который лучше всего соответствует целевому значению. Это позволяет модели улавливать различные допустимые выходы, а не усреднять их вместе. Добавленная к сильной базовой модели генерации изображений, эксплорация достигла конечной производительности базовой модели после обработки в 6,2 раза меньшего количества обучающих выборок и использования в 4,1 раза меньшего числа FLOP. Она также улучшила видеомодели и языковые модели с маскированной диффузией. В отдельных экспериментах по масштабированию преимущества возрастали по мере увеличения размера модели и объёма обучающих данных. Полностью энд-ту-энд эксплоративные модели достигли уровня базовых моделей диффузии в контрольных задачах, используя при этом до 256 раз меньше вычислений сети при выводе. Эксплорация может помочь моделям устранять большую неопределённость во время обучения, что снижает количество шагов, необходимых для генерации выхода.

No.0 picture
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.