Сьогодні вийшов Fable 5.1, World Labs випустив Atlas — усі зайняті перевіркою, наскільки розумнішими стали моделі та наскільки далі просунулися світові моделі. У майже непомітному кутку Meta випустила річ, яку, на мою думку, варто обговорити: Muse Voice Transcribe — перша модель реального часу з аудіо-сприйняттям від Meta Superintelligence Labs. На перший погляд — це просто модель перетворення мови на текст, але вона робить набагато більше, ніж традиційні ASR-системи, як Whisper. Реальний час транскрибування, діаризація говорців — тобто визначення, хто саме зараз говорить, — та endpointing — визначення, чи закінчив людина говорити — усі ці три функції виконуються в одній потоковій моделі. Не потрібно більше з’єднувати ASR, VAD та модель діаризації говорця в одну конвеєрну ланцюжку. Це дуже важливо. Одна з найбільших проблем у Voice Agent сьогодні — це не просто помилки розпізнавання, а те, коли слухати, а коли говорити, а також хто саме з кількох людей у кімнаті звертається до агента. Підхід Muse також цікавий: аудіо розбивається на чанки по 80 мс, а модель сама вирішує, продовжувати слухати чи починати виводити текст. Meta також за допомогою RL навчила так звану адаптивну затримку: прості слова швидко підтверджуються, складні — трохи довше чекають контексту. Результати зараз дуже вражаючі. У рейтингу потокового розпізнавання мови в Artificial Analysis, Muse Voice Transcribe показує WER 3,1% і загальну затримку транскрибування близько 160 мс — перше місце. Модель навчена на 70+ мовах, спочатку підтверджено 25, і вона може переключатися між англійською та китайською в одному реченні. Вона обробляє аудіо довше години та з 20+ говорцями без додаткової пост-обробки. І це коштує лише 0,18 долара за годину. Навпаки, я вважаю, що це дуже «Meta»-подія від Meta. Протягом останнього року всі намагалися додати штучному інтелекту розуму — а Meta тепер починає доповнювати його органи чуттів.