Сегодня вышла Fable 5.1, World Labs выпустила Atlas — все спешат посмотреть, насколько умнее стали модели и насколько продвинулись модели мира. В почти无人关注енном уголке Meta выпустила то, что, на мой взгляд, стоит обсудить: Muse Voice Transcribe — первая модель реального времени с аудиовосприятием от Meta Superintelligence Labs. На первый взгляд — это просто модель преобразования речи в текст, но она делает гораздо больше, чем традиционные ASR-системы вроде Whisper. Она нативно выполняет три задачи в одной потоковой модели: распознавание речи в реальном времени, диаризацию говорящих (определение, кто именно говорит в данный момент) и определение конца речи (endpointing — когда человек закончил говорить). Больше не нужно собирать пайплайн из ASR, VAD и модели определения говорящего. Это действительно важно. Одна из главных проблем, влияющих на опыт Voice Agent, — это уже не только то, правильно ли она услышала, а когда ей следует замолчать и выслушать, когда придет ее очередь говорить, и кто именно из группы людей обращается к ней. Подход Muse также интересен: аудио разбивается на фрагменты по 80 мс, и модель сама решает, продолжать слушать или начинать выводить текст. Meta также использовала RL для обучения так называемому адаптивному задержке: простые слова подтверждаются быстро, сложные — дожидаются больше контекста. Результаты пока впечатляют. В рейтинге потокового распознавания речи от Artificial Analysis Muse Voice Transcribe показала WER 3,1% и конечную задержку около 160 мс — сейчас первое место. Обучение охватывает более 70 языков, первоначально протестировано 25 языков — модель может переключаться между китайским и английским в одной фразе. Она обрабатывает аудио длиной более одного часа и более 20 говорящих без дополнительной постобработки. При этом цена составляет всего 0,18 доллара в час. Мне кажется, это очень «Meta»-выпуск модели. В прошлом году все старались добавить ИИ больше интеллекта — а Meta теперь начинает восполнять органы чувств.