Liquid AI, LFM2.5용 추측 디코딩 드래프트 모델 DSpark 공개

무엇이 바뀌었나

Liquid AI가 자사 경량 파운데이션 모델 LFM2.5 계열을 위한 추측 디코딩(speculative decoding)용 드래프트 모델 체크포인트 'DSpark'를 공개했다. 이번 릴리스는 LFM2.5-1.2B-Instruct, LFM2.5-2.6B, LFM2.5-8B-A1B 세 모델에 각각 대응하는 드래프트 모델로 구성되며, Liquid Foundation Models 계열에 추측 디코딩이 적용된 것은 이번이 처음이다[1]. 회사는 메모리 사용량을 소폭 늘리는 대신 출력 품질을 그대로 유지하면서 디코딩 속도를 크게 끌어올리는 방식이라고 설명했으며, GPU에서 최대 3.18배, 온디바이스 환경에서 최대 2.87배의 처리량 향상을 확인했다고 밝혔다[1]. 통합 코드는 llama.cpp와 SGLang에 오픈소스로 공개돼 있고, 모델 체크포인트는 Hugging Face에서 받을 수 있다[1].

DSpark 드래프트 모델은 5개 디코더 레이어와 블록 크기 9로 구성된 약 3억 파라미터 규모이며, 각 모델당 15 epoch 학습을 거쳤다[1]. 추측 디코딩은 작은 드래프트 모델이 먼저 다음 토큰들을 예측하고 본 모델이 이를 검증·확정하는 방식으로, 출력 결과 자체는 그대로 유지하면서 생성 속도만 높이는 기법이다. Liquid AI는 EAGLE-3, DFlash 등 기존 추측 디코딩 기법과는 별도의 구현으로 이번 DSpark를 개발했다고 밝혔다[1].

모델별 성능 차이와 실무 영향

성능 향상 폭은 모델과 작업 종류에 따라 차이가 뚜렷하다. LFM2.5-2.6B는 BFCL(Berkeley Function Calling Leaderboard) 기준 함수 호출 지연 시간이 평균 57% 줄어든 것으로 나타났다[1]. LFM2.5-1.2B-Instruct는 작업에 따라 속도 향상 폭이 최대 52%까지 편차를 보였다[1]. LFM2.5-8B-A1B는 GPU 환경에서 평균 2.54배 처리량 향상을 기록했지만, 온디바이스(엣지) 환경에서는 18% 개선에 그쳐 다른 두 모델보다 체감 효과가 낮았다[1].

이런 편차는 함수 호출이나 에이전트형 워크플로처럼 반복적이고 예측 가능한 출력 패턴이 많은 작업에서 추측 디코딩 효과가 크게 나타나는 반면, 더 큰 모델이나 다양성이 높은 출력을 요구하는 작업에서는 상대적으로 이득이 줄어들 수 있음을 시사한다. 서버 인프라 비용을 줄이려는 백엔드 개발팀이라면 GPU 환경에서의 3배 안팎 처리량 향상을 활용해 동일 하드웨어로 더 많은 요청을 처리하는 방향을 검토할 수 있고, 온디바이스 배포를 다루는 팀이라면 모델 규모별로 실제 이득 차이가 크다는 점을 사전에 확인해야 도입 효과를 가늠할 수 있다. 다만 이 수치들은 회사가 자체 공개한 벤치마크 결과이며, 실제 프로덕션 트래픽 패턴에서는 편차가 달라질 수 있다.

확인할 조건

공개된 벤치마크는 NVIDIA H100(80GB 메모리)과 M4 Max 맥북 프로를 기준으로 측정됐으며, 온디바이스 테스트는 최대 출력 토큰 256개로 제한된 조건에서 진행됐다[1]. 실제 도입을 검토하는 조직이라면 자사가 사용할 하드웨어 사양과 평균 출력 길이가 이 조건과 얼마나 다른지에 따라 발표된 배율이 그대로 재현되지 않을 수 있다는 점을 감안해야 한다. 또한 회사가 비교 기준으로 제시한 약 140 tok/s의 독점 클라우드 모델 처리량도[1] 어떤 모델·설정을 기준으로 삼았는지 확인한 뒤 자사 벤치마크와 비교하는 편이 안전하다. 품질 지표로는 MATH500, GSM8K, HumanEval, MBPP, MT-Bench 등 표준 벤치마크가 함께 언급됐으나[1], 이들 지표에서 드래프트 모델 적용 전후 점수 차이가 실제로 어느 정도인지는 별도로 검증해볼 필요가 있다.