Nari Labs, 단일 H100에서 TTS 응답 50ms 이하로 낮춘 서빙 구현 오픈소스 공개

무엇이 바뀌었나

Nari Labs가 Qwen3-TTS 1.7B CustomVoice 모델을 서빙하는 자체 구현을 공개하며, 단일 NVIDIA H100 SXM 인스턴스에서 초당 10건의 요청(10 RPS)을 처리하는 동시에 첫 오디오가 출력되기까지 걸리는 시간(Time-to-First-Audio, TTFA)의 95번째 백분위수(p95)를 50ms 이하로 유지했다고 밝혔다[1]. 이 결과는 vLLM-Omni, SGLang-Omni, VoxServe, M* 등 4개의 기존 서빙 구현과 함께 Poisson 분포를 따르는 open-loop 트래픽 조건 하에서 비교 테스트를 거친 것이며, 5개 구현 가운데 이 조건에서 sub-50ms p95 TTFA를 달성한 것은 Nari Labs의 자체 구현뿐이었다고 회사는 설명했다[1]. Nari Labs는 이번 서빙 구현 코드와 벤치마크 스크립트를 오픈소스로 함께 공개했다[1].

부하가 늘어도 지연이 크게 안 늘어난다는 주장

음성 합성 서비스에서 TTFA는 사용자가 말을 걸고 나서 응답 소리가 나오기까지 체감하는 대기 시간과 직결되는 지표다. Nari Labs에 따르면 부하를 20 RPS까지 두 배로 올려도 p95 TTFA는 100ms 이하로 유지됐고, 10 RPS 기준으로는 초당 약 630자를 생성하는 처리량을 냈다[1]. 반면 비교 대상이 된 다른 엔진들은 약 6 RPS 부근에서 이미 p95 TTFA가 100ms를 넘어서기 시작했다고 회사는 밝혔다[1]. 다만 VoxServe의 경우 1 RPS라는 낮은 부하 조건에서는 sub-50ms p95 TTFA를 달성했다고 별도로 명시돼 있어, 모든 RPS 구간에서 Nari Labs 구현이 절대 우위에 있다고 단정하기는 어렵다[1]. 회사는 리딩 사일런스를 잘라내는 트리밍 기법으로 TTFA를 약 80ms 추가로 개선했고, Code Predictor가 프레임당 15개의 고정 스텝을 쓰도록 설계했다고 설명했다[1].

비용 구조와 도입 시 고려할 점

이번 발표에서 눈에 띄는 부분은 지연 시간뿐 아니라 비용 구조다. H100 SXM 인스턴스의 시간당 비용은 $4.29이며, 이를 완전히 활용할 경우 100만 자당 처리 비용이 약 $2 수준이라고 회사는 계산했다[1]. 이는 상용 TTS API인 ElevenLabs V3의 100만 자당 $100, Cartesia Sonic 3.5의 100만 자당 $49(그마저도 더 높은 TTFA에서)와 비교되는 수치다[1].

구분	100만 자당 비용	비고
Nari Labs 구현 (H100 완전 활용 시)	약 $2	sub-50ms p95 TTFA
Cartesia Sonic 3.5	$49	더 높은 TTFA
ElevenLabs V3	$100	-

다만 이 비용 계산은 인스턴스를 완전히 활용한다는 전제에서 나온 수치이며, 실제 트래픽이 고르지 않거나 GPU 활용률이 낮은 환경에서는 실효 비용이 달라질 수 있다. 음성 인터페이스나 실시간 안내·상담 자동화, 게임·미디어 더빙처럼 응답 속도가 사용자 경험에 직접 영향을 주는 서비스를 운영하는 팀이라면, 상용 API 대신 자체 GPU 인프라로 서빙을 내재화할 때의 비용·운영 부담을 비교해볼 근거 자료로 참고할 만하다. 다만 이는 특정 모델(Qwen3-TTS 1.7B CustomVoice)과 특정 GPU(H100 SXM) 조합에서 나온 결과이므로, 다른 모델이나 GPU 환경, 실제 서비스 트래픽 패턴에서도 동일한 지연·비용 특성이 재현되는지는 별도로 검증이 필요하다.

확인이 필요한 부분

비교 대상 중 하나인 M*가 정확히 어떤 시스템을 지칭하는지, 그 출처나 구체적 명칭이 발표 내용만으로는 분명히 확인되지 않는다[1]. 또한 VoxServe가 1 RPS라는 낮은 부하 조건에서 sub-50ms p95 TTFA를 달성했다고 언급된 만큼, 부하 대역 전반에 걸친 전체적인 성능 우위를 단정하기보다는 특정 RPS 구간에서의 비교 결과로 좁혀 이해할 필요가 있다[1].