AI 코드 리뷰 기업 Ito, "다음 LLM보다 인프라 투자가 더 중요하다" 주장
주당 약 1000억 토큰을 처리하는 AI 코드 리뷰 회사 Ito가 자사 블로그에서 모델 품질 향상이 정체기에 접어들었고, 이제는 모델 선택보다 라우팅·캐싱·평가 파이프라인 같은 인프라 투자가 더 중요한 차별화 요소라고 주장했다. Ito는 14개 모델을 코딩 작업에 각 6회씩 돌린 자체 실험을 근거로 벤치마크 순위와 실제 프로덕션 성능이 어긋난다는 데이터를 제시했다.
무엇이 바뀌었나
AI 코드 리뷰 서비스를 운영하며 주당 약 1000억 토큰을 소비하는 Ito가 "Why your infrastructure is more important than the next LLM release"라는 제목의 블로그 글을 게시했다[1]. 핵심 주장은 간단하다. 최근 모델 세대 간 품질 향상 폭이 눈에 띄게 줄었고, 이제 실제 제품 성능을 좌우하는 것은 어떤 모델을 쓰느냐가 아니라 모델을 교체·조합·평가하는 인프라라는 것이다. Ito는 이를 뒷받침하기 위해 14개 모델을 동일한 코딩 작업에 각 6회씩 실행한 자체 테스트 결과를 공개했다[1].
벤치마크와 실제 성능의 괴리
Ito가 제시한 데이터의 요지는 벤치마크 순위가 실제 운영 환경에서의 속도·비용과 잘 맞지 않는다는 점이다[1]. 예를 들어 KAT-Coder-Pro V2.5는 초당 113토큰을 처리하면서도 작업당 5,536토큰을 소모해 순위표에서 10위에 그친 반면, GPT-5.5는 같은 유형의 작업에서 1,777토큰만 써 3배 이상 효율적이었다[1]. 실행 속도 편차는 더 컸다. Kimi K3는 Luna보다 실행시간이 11.5배 느려 최하위를 기록했고, Luna·Terra·Sol 세 모델을 비교하면 실행시간이 15초에서 59초로, 비용은 0.012달러에서 0.079달러로 늘었지만 이 증가폭이 항상 성능 향상으로 이어지지는 않았다는 게 Ito의 지적이다[1]. 토큰당 가격을 5배 더 지불했는데도 대기시간은 오히려 3.8배 늘어난 사례도 함께 제시됐다[1].
가격과 실제 작업 비용의 관계도 직관과 다르게 나타났다. Kimi K2.7 Code는 KAT-Coder 대비 37% 저렴하게 같은 작업을 끝냈고, GLM-5.2는 토큰 단가가 MiniMax M3의 2.2배였지만 작업당 비용은 거의 차이가 없었다[1]. DeepSeek V4 Pro는 작업당 0.0017달러로 Claude Fable 5보다 약 73배 저렴했는데, 이는 출력 토큰 수 자체가 모델마다 크게 달랐기 때문이다. Intelligence Index 기준 작업당 출력 토큰은 MiniMax M3가 24.0k, Kimi K2.7 Code가 17.7k, GPT-5.5 high가 10.1k로 3배 가까이 차이가 났다[1]. Ito는 입력 토큰의 약 97%가 캐시 읽기였다고 밝혔는데[1], 이는 캐싱 전략 자체가 비용 구조에 미치는 영향이 모델 선택 못지않게 크다는 근거로 제시됐다.
모델 공급 쪽 변화도 함께 언급됐다. Llama 3.3 70B와 gpt-oss-120B는 20개 이상의 제공업체에서 서비스되고 있어 특정 벤더에 대한 의존도를 낮출 여지가 있다는 점[1], 그리고 OpenAI가 2026년 7월 내놓은 GPT-5.6이 커널 재작성으로 종단간 서빙 비용을 20% 줄이고 추측 디코딩 개선으로 토큰 생성 속도를 15% 이상 높였다는 점[1], 2026년 5월 발표된 Opus 4.8이 컨텍스트 윈도우 100만 토큰과 최대 출력 128,000토큰을 지원한다는 점도 Ito가 인프라 투자의 근거로 인용한 사실들이다[1]. Ito는 이 실험 전체에 13개 모델을 대상으로 3달러가 들었다고도 언급했다[1].
기업 실무에 주는 시사점
이 글이 실무에 던지는 메시지는 비교적 명확하다. 코딩 에이전트나 LLM 기반 제품을 운영하는 개발팀이라면 특정 모델 하나를 고정해 쓰기보다 여러 모델을 손쉽게 교체·검증할 수 있는 하네스와 평가 체계를 갖추는 쪽이 더 큰 이득을 줄 수 있다는 것이다. Ito는 4주 동안 모델을 교체해가며 평균 실행시간을 50% 줄이고 비용을 10배 이상 낮췄다고 밝혔는데[1], 이는 모델 자체의 신규 출시를 기다리기보다 기존 모델을 더 잘 조합하고 라우팅하는 작업이 실제 성능 개선에 더 즉각적으로 기여했다는 뜻으로 읽힌다. 개발팀 입장에서는 벤치마크 순위만으로 모델을 채택하기보다 자사 워크로드에 맞춘 자체 평가 파이프라인을 구축하는 것이 우선순위가 될 수 있다. 다만 이런 결론은 Ito 한 회사의 코딩 작업 데이터에 근거한 것이어서, 다른 성격의 업무(예: 긴 문서 요약, 대화형 상담 등)에 그대로 적용될지는 별도 검증이 필요하다. Vercel AI Gateway, OpenRouter, Together AI 같은 모델 라우팅 서비스나 DoorDash의 DashBench 같은 코드 리뷰 에이전트 사례, Thoughtworks·Simon Willison의 관련 논의도 이런 인프라 중심 접근이 업계 전반에서 확산되고 있음을 보여주는 맥락으로 함께 언급됐다[1].
확인이 필요한 부분
원문에는 모델 수에 관한 불일치가 있다. 글 초반에는 14개 모델을 각 6회씩 테스트했다고 설명했지만, 같은 실험을 다시 서술하는 대목에서는 13개 모델을 대상으로 총 3달러가 들었다고 밝혀 숫자가 엇갈린다[1]. 어느 쪽이 정확한 실험 규모인지는 원문만으로는 확정하기 어려우며, 이 차이가 단순 오기인지 실험 설계 변경에 따른 것인지도 확인되지 않는다. 이 수치를 인용해 의사결정에 참고하려는 독자라면 이 부분을 감안해 추가 확인을 거치는 것이 안전하다.