AA 인텔리전스 인덱스, '지능' 아닌 '도구 사용 능력' 측정한다는 분석 나와

무엇이 바뀌었나

블로그 게시물 저자는 Artificial Analysis(AA)가 여러 AI 모델을 비교할 때 널리 인용되는 'Intelligence Index' v4.1.1의 구성 벤치마크와 가중치를 586개 모델·설정 평가 데이터(409개 모델 패밀리 기준)로 재분석했다[1]. 이 지수는 Agents 카테고리에 34%, General reasoning에 18%를 배분하는 방식으로 총 10개 벤치마크에 20/16/14/12/8/8/6/6/6/4의 가중치를 매긴다[1]. 저자의 결론은, 이 지수가 모델의 '지능'을 재는 것이 아니라 GPQA Diamond의 문항 포화, SciCode의 과학추론 편향, GDPval의 하네스(Stirrup) 의존성, 그리고 에이전트 실행 벤치마크 간의 중복 측정 문제 때문에 특정 스캐폴딩·도구 사용 능력에 더 가깝게 반응한다는 것이다[1].

벤치마크별로 드러난 구체적 문제

GPQA Diamond는 지수에서 6%의 비중을 차지하지만, 198개 문항 중 최고 점수가 Gemini 3.1 Pro Preview 94.1%, Claude Opus 5 93.7%로 이미 근접해 남은 헤드룸이 5.9%에 불과하다[1]. 표준화한 IQR도 최소 0.478까지 좁아져, 상위권 모델 간 실질적인 변별력이 크게 줄어든 상태로 해석된다[1].

SciCode는 비중이 8%인데, 별도 검증 논문(arXiv:2608.04975)이 이 벤치마크에서 263개의 결함을 발견했고 이 결함이 주요 테스트 문제의 91%에 영향을 줬다고 밝혔다[1]. 이 결함을 보정하자 원래 4560%였던 점수 범위가 8498%로 크게 뛰었고, 보정 후 SciCode와 GPQA Diamond의 상관관계도 0.567~0.71 범위로 나타났다[1]. 문항 자체의 결함이 점수 해석을 왜곡할 수 있다는 뜻이다.

GDPval은 20%의 비중으로 지수에서 가장 큰 몫을 차지한다[1]. AA는 1,320개 과업, 44개 직업군, 9개 산업을 다루는 전체 GDPval 중 220개 과업으로 구성된 Gold 서브셋을 사용하는데, 시각적 자체 검사 방식을 수정하자 정확도가 15%에서 97%로, 인간 선호 승률은 5퍼센트포인트 개선됐다는 점이 지적됐다[1]. 채점 하네스를 바꾸는 것만으로 점수가 크게 흔들린다는 사실은, 이 항목이 모델 자체의 능력보다 평가 도구의 설계에 민감하다는 뜻으로 읽힌다.

환각 여부를 측정하는 AA-Omniscience에서는 모든 질문에 답을 거부하는 함수가 100%의 비환각 점수를 받는 반면, 실제 모델인 GPT-5.6 Terra는 -3점을 기록했다는 사례도 제시됐다[1]. 이는 지식이 없다고 솔직히 인정하는 답변과 아예 답을 거부하는 답변을 이 지표가 제대로 구분하지 못할 가능성을 시사한다.

벤치마크 간 상관관계와 가중치의 실효성

저자는 여러 벤치마크 쌍의 원시 상관관계와 문항 결함·채점 방식을 보정한 상관관계를 비교했다. Terminal-Bench와 HLE는 원시 상관관계가 0.899로 매우 높았지만 보정 후에는 0.333으로 크게 떨어졌고, GDPval-AA v2와 Terminal-Bench v2.1도 0.91에서 0.647로 낮아졌다[1]. 이런 격차는 여러 벤치마크가 서로 다른 능력을 측정한다고 보였던 것이 실제로는 공통된 실행 환경이나 하네스 특성에서 비롯된 착시일 수 있음을 보여준다. 반면 τ3-Banking과 AA-LCR은 -0.176, Terminal-Bench와 CritPt는 -0.047로 사실상 무관계에 가까운 상관관계를 보여, 지수 안의 벤치마크들이 서로 다른 축을 측정하는 것도, 하나의 일관된 '지능'을 측정하는 것도 아닌 혼재된 상태라는 해석이 나온다[1].

가중치 자체의 실효성에도 의문이 제기됐다. AA가 사용하는 20/16/14/12/8/8/6/6/6/4 공식과 모든 항목에 동일하게 10%씩 배분하는 평평한 가중치 간의 피어슨·스피어만 상관관계는 각각 0.992, 켄달 타우는 0.927에 달했고, 두 방식 모두에서 상위 10개 모델이 정확히 일치했다[1]. 주성분분석(PCA)에서도 제1주성분이 전체 분산의 73.2%를, Non-Hallucination 항목을 제외하면 80.6%를 설명해, 지수를 구성하는 여러 항목이 사실상 하나의 축으로 수렴한다는 근거로 제시됐다[1]. 정교하게 설계된 가중치 공식이 있어도 결과적으로는 벤치마크 대부분이 같은 방향으로 함께 움직이기 때문에, 가중치 조정이 순위에 미치는 실질적 영향은 제한적이라는 뜻이다.

실무에서 확인해야 할 부분

이런 분석이 맞다면, 모델 도입을 검토하는 기업의 개발·구매 담당자는 AA의 종합 순위나 지수 점수만으로 모델을 선택하기보다, 실제 업무와 유사한 벤치마크 항목의 개별 점수와 평가 하네스 조건을 함께 살펴볼 필요가 있다. 특히 GDPval처럼 채점 방식 변경만으로 점수가 크게 흔들리는 항목이나, GPQA Diamond처럼 이미 포화 상태에 근접한 항목은 상위권 모델 간 실질적 성능 차이를 보여주지 못할 가능성이 있다는 점을 감안해야 한다.

다만 이 분석은 개인 저자가 작성한 블로그 게시물에 실린 것으로, 몇 가지는 명확히 구분해서 봐야 한다. 저자가 근거로 든 SciCode-Verified 논문(arXiv:2608.04975)은 작성 시점 기준 프리프린트 상태로, 정식 동료 검토를 거쳤는지는 확인되지 않는다[1]. 또한 AA와 OpenAI, Anthropic, Google 같은 프론티어 랩 간의 사전 접근이나 인용 구조가 실제 평가 결과나 순위에 영향을 미쳤는지에 대해서는 저자도 명시적인 증거를 제시하지 않았으며, 조작이나 스캔들이라고 주장하지도 않았다[1]. 게시물 작성자의 실명과 소속, 전문성 역시 원문에 명시돼 있지 않아, 이번 분석을 하나의 방법론적 비판 사례로 참고하되 AA의 공식 반응이나 추가 검증 결과가 나오는지 지켜볼 필요가 있다.