Nari Labs, 단일 H100에서 TTS 응답 50ms 이하로 낮춘 서빙 구현 오픈소스 공개
Nari Labs가 Qwen3-TTS 1.7B CustomVoice 모델을 서빙하는 자체 구현으로 단일 NVIDIA H100 SXM에서 초당 10건 요청을 처리하면서도 첫 오디오까지 걸리는 시간(TTFA)의 p95를 50ms 이하로 유지했다고 밝혔다. vLLM-Omni, SGLang-Omni, VoxServe, M* 등 기존 구현과 동일 조건에서 비교했을 때 이 수치를 달성한 것은 자사 구현이 유일했다며, 구현과 벤치마크를 오픈소스로 공개했다. 실시간 음성 응답이 필요한 서비스의 인프라 비용과 지연 시간 구조에 참고할 만한 사례다.

