Телефонный агент, который минуту ждёт, пока вы закончите фразу, потом переспрашивает имя и в конце читает ответ механическим голосом, стоит не потому, что модель глупая. Он стоит потому, что между вами и моделью лежит текст. Голос превращают в расшифровку, расшифровку отдают языковой модели, ответ печатают и снова озвучивают. Каждый шаг теряет интонацию и добавляет задержку.

За одну неделю октября 2026 по этому посреднику ударили с двух сторон. Mistral показала Voxtral 3, семейство моделей распознавания и синтеза речи плюс SDK для голосовых агентов, где весь конвейер идёт одним потоком. Block, компания Джека Дорси, выложила Dessa, модель, которую обучали только на человеческой речи, без единого токена текста. Первый релиз прикладной и уже продаётся за деньги. Второй исследовательский и звучит как заявка на другой класс моделей.

Что такое Voxtral 3

Voxtral 3 это семейство речевых моделей Mistral: распознавание речи (Voxtral Transcribe 3), синтез (Voxtral Mini TTS 3) и SDK голосового агента, который соединяет слух, рассуждение и речь в реальном времени. Работает через API Mistral или разворачивается на своей инфраструктуре, поддерживает больше 50 языков при распознавании и 35 с лишним при синтезе.

Формально это не одна модель, а четыре разных плюс обвязка. Mistral честно называет их по отдельности, и это важно для практики: можно поменять голос, не переписывая агента, или оставить свой LLM и взять только синтез.

Почему старый конвейер не выдерживает

Mistral формулирует задачу через четыре требования, которые голосовой агент должен выполнять одновременно. Слушать точно, несмотря на акценты, нескольких собеседников и перебивания. Понимать смысл в контексте. Говорить выразительно. И выполнять многошаговые действия во внешних системах.

Классическая схема распознавание, потом LLM, потом синтез проваливает первое же требование, потому что стадии выстроены в очередь. Пока распознавание не закончило, модель простаивает. Пока модель думает, синтез молчит. В итоге пауза на каждом ходу, а в паузах люди и вешают трубку.

Отдельная беда с моментом, когда человек закончил говорить. Старые системы определяли это по тишине: сколько миллисекунд молчания прошло, столько и хватит. Отсюда два классических бага телефонных ботов: он влезает на середине фразы, если вы задумались, или висит пять секунд, если вы просто выдохнули.

Один поток вместо трёх очередей

SDK построен на LiveKit и работает как единый стриминговый конвейер. Realtime-модель распознавания слушает и сама определяет конец реплики, обычная языковая модель вроде Mistral Small рассуждает и вызывает инструменты, синтез отвечает в тональности разговора. Ни одна стадия не ждёт предыдущую, поэтому ход укладывается в секунду, а агент замолкает, когда в разговор вклинивается человек.

Определение конца реплики здесь не таймер, а модель: она смотрит и на акустику, и на смысл сказанного. Это звучит как мелочь, но именно на этом ломается ощущение живого разговора. Фраза «я хотел бы записаться, но сначала...» по тишине неотличима от законченной.

Агент умеет проверять личность звонящего, смотреть счёт, бронировать время, ходить в поиск и в ваши внутренние системы через вызов функций. Отвечает и звонит по SIP, работает в браузере и приложении по WebRTC, стыкуется с телефонией, IVR и контакт-центрами, которые уже стоят у клиента.

Транскрипция: 50 языков и подсказки по терминам

Voxtral Small Transcribe 3 заявлен как самая точная модель семейства: расшифровка на 50 с лишним языках, включая 24 официальных языка Евросоюза и малоресурсные азиатские и индийские, диаризация (кто говорил и когда) и context biasing. Последнее на практике важнее половины бенчмарков: вы даёте модели список терминов, названий и имен, и она лучше слышит именно их, без дообучения.

Mistral говорит, что Small обходит Whisper, Scribe v2 и Gemini 3.5 Transcribe по диаризации и многоязычной расшифровке. Цифры стоит принимать с оговоркой: замеры на FLEURS и публичных диаризационных наборах, часть сравнений сделана на внутренних прогонах вендора. Но набор языков и наличие context biasing проверяются легко, а именно они обычно и решают, поедет ли пилот в продакшн.

Отдельно есть realtime-вариант с задержкой меньше 500 миллисекунд, диаризацией и подсказками по терминам, и он же умеет предсказывать конец реплики. Это та самая деталь, из-за которой агент перестаёт перебивать.

Синтез: эмоция, темп и спорные слова

Голосовая модель Mistral, Voxtral Mini TTS 3, работает на 35 с лишним языках и более чем 50 диалектах. Она меняет эмоцию, темп и ударения, отталкиваясь от контекста, без отдельного промпта. В демо на сайте это показывают на бытовых сценах: подтверждение адреса почты, разговор о беременности, злость на паспортный стол. Разница между Voxtral 1 и Voxtral 3 слышна на числе «21:00»: первая версия читает его как «двадцать одна тысяча», вторая произносит нормально.

Ещё одна вещь, которую недооценивают до первого запуска, это управление произношением. Модели можно скормить фонемы для слова, которое она упорно читает неправильно. На сайте это показано на GIF, на французском названии Реймс и на выдуманных именах вроде Quivello и Xyra. Для русского языка с ударениями и для брендов с нестандартным чтением это не украшение, а условие запуска.

Клонирование голоса работает от 30 минут аудио. Для случаев, где нужно передать не тембр, а манеру и эмоциональный диапазон, есть Pro Voice. Цена синтеза, $13 за миллион символов, по заявлению Mistral ниже, чем у OpenAI TTS-1, Deepgram, ElevenLabs Flash и Gemini Flash. Оговорка та же, что и с распознаванием: сравнение сделано внутренним судьёй, а не независимой ареной.

Сколько это стоит

Цены Mistral выложила открыто, и это самая полезная часть релиза:

• Voxtral Mini Transcribe 3 в батче: $0.0035 за минуту аудио
• Voxtral Small Transcribe 3: $0.0040 за минуту
• Realtime-распознавание: $0.008 за минуту
• Синтез Voxtral Mini TTS 3: $13 за миллион символов
• Голосовой агент целиком с Mistral Small 4: $0.04 за минуту разговора
• Голосовой агент с моделью побольше: $0.08 за минуту

Дальше арифметика, которую любой менеджер поддержки сделает за минуту. Тысяча звонков по пять минут это 5000 минут, то есть $200 по нижнему тарифу агента. Часовая запись лекции в батче стоит 21 цент. Расшифровка созвона на 40 минут обойдётся примерно в 14 центов. Для контакт-центра, который платит оператору в час, разница не в разы, а в порядки, и именно поэтому голосовые агенты перестали быть экспериментом.

Суверенитет и медицинский пример

Mistral продаёт не только модель, но и контроль над данными. API хостится в Европе, США и на глобальных эндпоинтах, есть вариант полностью на своей инфраструктуре, и можно решить, сохраняется ли аудио вообще. Для европейской медицины или банка это не маркетинг, а условие допуска.

Демо на главной странице подобрано под этот рынок. Ассистент берёт голосовое сообщение с французским направлением к дерматологу, вызывает инструмент get_referral, читает рецепт, находит свободное время и записывает на приём. Звучит как реклама, но в этом сценарии видно главное: агент не просто расшифровал речь, он прочитал вслух незнакомый текст на другом языке, объяснил его и совершил действие. Голосовой бот на распознавании плюс LLM плюс синтезе такое делает за три хода и с паузами.

Dessa: та же неделя, противоположный подход

Block пошёл в другую крайность. Dessa это модель, которую обучали с нуля только на человеческих разговорах: ни текста, ни предобученных весов. Она полнодуплексная, то есть слушает и говорит одновременно, и сама решает, когда вставить «ага», «понял» или короткий смешок. Смеётся в середине фразы, а не по команде после вашей реплики, и становится громче, если попросить говорить громче. Этому её никто не учил.

Технически там несколько деталей, которые стоят отдельного упоминания. Обучение шло на одном NVIDIA GB200 NVL72, а инференс работает быстрее реального времени и запускается локально на MacBook Pro с M4 Max или мощнее. Язык модель выучила на словах в сотни раз меньше, чем нужно LLM, хотя создатели честно шутят, что языковым моделям ещё приходится учить C++ и Angular.

Дальше начинается интересное. Один произнесённый слог занимает в тысячи раз больше байт, чем то же слово в тексте. Речь никогда не повторяется: сказать фразу дважды одинаково невозможно, данные всё равно выйдут разные, а текст идентичен независимо от того, кто его набрал. Плюс поверх языка нужно выучить акценты, паузы, дыхание, сарказм, момент для перебивания. Именно поэтому идея «просто обучить модель на звуке» до сих пор не была реализована.

Мотивация у Block прикладная. Первое, любопытство. Второе, речь как естественный интерфейс. Третье, безопасность: модель, которая слышит боль или сорвавшийся голос, может среагировать, а система, прогнавшая речь через расшифровку, видит только ровный текст. В доказательство они дают ранний доступ исследователям безопасности, чтобы те искали риски, о которых авторы не подумали. Команда выросла из Dessa, торонтского стартапа по глубинному обучению, и подчиняется напрямую Джеку Дорси.

Что не сходится у Block

Обсуждение на Hacker News (389 баллов, 139 комментариев) быстро расставило акценты. Часть слушателей считает, что сэмплы звучат неестественно, с провалами в интонации. Другая часть возражает: по плавности разговора это заметно лучше того, что есть на рынке. И почти все сходятся на главном: интеллект у модели примерно уровня 2024 года.

Один из комментаторов сформулировал это точнее всех: следующий шаг очевиден, совместное обучение на тексте и звуке. Dessa показывает, что речь можно выучить без текста. Она не показывает, что такую модель можно использовать как ассистента, который знает факты. Создатели это и не скрывают, они прямо пишут, что открывают новую категорию с непонятными свойствами, и приглашают исследователей разбираться.

Так что сравнивать Voxtral 3 и Dessa напрямую бессмысленно. Mistral продаёт готовый продукт с ценами за минуту. Block показывает направление, в котором, вероятно, будут двигаться все, но пока не с работающим ассистентом.

Что из этого следует на практике

Если вам нужен голосовой агент в продакшн на этой неделе, выбор очевиден и он не про Dessa. Voxtral 3 даёт готовый конвейер, предсказуемую цену за минуту, диаризацию, подсказки по терминам и возможность не отдавать аудио наружу. Основные риски здесь не технические, а организационные: как агент будет передавать трубку человеку, что он делает при плохой связи, кто отвечает за ошибку в бронировании.

Если вы исследуете архитектуру, интереснее обратное. Dessa ставит вопрос, который обычно обходят: сколько информации мы выбрасываем, когда превращаем голос в текст, и что будет, если этого не делать. Ответ на него, скорее всего, окажется гибридным: текстовые модели останутся носителями знаний, а речь станет отдельным каналом со своими моделями, а не трубой для текста.

И ещё одно наблюдение, которое стоит держать в голове. Ещё год назад голосовые агенты строились вокруг распознавания, а синтез был приложением к нему. Сейчас центр тяжести сместился к задержке и к праву перебить. Побеждает не тот, кто точнее расшифровывает, а тот, кто не заставляет человека ждать.

Частые вопросы

Чем Voxtral 3 отличается от Voxtral 1?

Voxtral 1 умел распознавать речь и озвучивать текст, но стадии работали по очереди. Voxtral 3 добавляет realtime-распознавание с предсказанием конца реплики, синтез с управлением эмоцией и произношением, а главное, SDK, который собирает всё в один поток и позволяет агенту вызывать инструменты во время разговора.

Можно ли развернуть Voxtral 3 на своём сервере?

Да. Mistral предлагает два пути: API, хостимый в Европе, США или на глобальных эндпоинтах, и развёртывание на своей инфраструктуре или в частном облаке. Второй вариант позволяет не выпускать аудио за периметр и отдельно решать, сохраняются ли записи разговоров.

Нужен ли текстовый слой для голосового агента?

Для прикладных задач пока да: в схеме Mistral распознавание отдаёт текст, языковая модель рассуждает и вызывает функции, синтез озвучивает результат. Dessa показывает, что можно иначе, но её знания заметно слабее, поэтому для бронирования, платежей и поддержки текстовый слой остаётся рабочим решением.

Итог

Voxtral 3 это первый голосовой стек от крупного вендора, где цена, задержка и качество синтеза названы прямо, без «свяжитесь с нами». 0,35 цента за минуту расшифровки, четыре цента за минуту разговора с агентом, меньше секунды на ход и 50 с лишним языков: с такой математикой голосовой агент перестаёт быть проектом на год и становится функцией, которую можно включить в тариф.

Dessa из той же недели напоминает, что за этой аккуратной инженерией стоит открытый вопрос: мы до сих пор учим машины слушать через текст. Block попробовал без него, и получил разговор, который звучит живее, но думает хуже.

Если у вас есть сценарий, где человек звонит и ждёт, посчитайте его в минутах по прайсу Mistral и сравните с ценой ожидания. Разница обычно и есть тот бюджет, который стоит потратить на пилот.