Мультиязычный голосовой AI и харнесс для runtime-диагностики
AI-ресепшионист для медицины: голосовые агенты для записи пациентов и работы клиник. Надёжность исходящих звонков, диспетчеризация в LiveKit, резидентность данных в ОАЭ и запуск в MENA.
Мультиязычный голосовой AI и харнесс для runtime-диагностики
Запуски у крупных медицинских клиентов требуют голоса на нескольких языках с минимальной задержкой по живой телефонии и мгновенного поиска причины любого сбоя.
Построил слой надёжности голосовых агентов и харнесса: от входа через Twilio/LiveKit и ASR (Speechmatics) до оркестрации LLM, детерминированных эвалов и трассировки.
- ▸ Убрал ~15 с тишины после ответа на исходящих звонках: агент здоровался, пока ещё шли гудки.
- ▸ Сделал диспетчеризацию агентов в LiveKit надёжной: retry-and-verify, без двойных агентов в звонке и без «немых» звонков.
- ▸ Спроектировал гардрейлы резидентности аудио в ОАЭ: фолбэки TTS и STT не уходят за пределы одобренных региональных провайдеров.
В Sully агент здоровался, пока ещё шли гудки, и человек, взяв трубку, слышал ~15 с тишины. Фикс: дождаться, пока человек заговорит, и только тогда здороваться. Вот этот кирпичик прямо в вашем браузере: Silero VAD v6, модель на 0,5 МБ, которая слышит речь кадрами по 32 мс.
Звук остаётся на вашем устройстве: ничего не записывается и не отправляется.
Разрешите доступ к микрофону, чтобы начать. Загружаю модель (0,5 МБ): Секунду меряю фон комнаты. Помолчите… Слушаю. Скажите «алло». Услышала вас через — мс. — мс вычислений на этот кадр на вашем устройстве. За 15 с ничего не услышала: примерно столько ждал собеседник Sully. Попробуйте ещё раз ближе к микрофону. Доступ к микрофону заблокирован. Ничего не записано. Разрешите его в настройках сайта, чтобы попробовать. Микрофон не найден. Этот браузер не потянет демо: нужен доступ к микрофону и AudioWorklet. На паузе, чтобы сэкономить трафик: демо скачивает модель на 0,5 МБ. На быстром соединении оно работает прямо здесь. Что-то пошло не так. Ничего не записано.
Считаю от 32-мс кадра, где голос стал громче фона комнаты, до решения модели, плюс время вычислений. Голос может начаться в любом месте первого кадра, так что число бывает завышено до 32 мс; назад смотрю не дальше секунды. Буферы микрофона и ОС до того, как звук попал на страницу, не учтены. В Sully выигрыш дала не быстрая модель, а то, что агент ждёт голос, а не здоровается под гудки.