RTX 4090 메모리 접근 전체 경로, 하드웨어 실측으로 역설계됐다
Doubleword 블로그가 NVIDIA RTX 4090에서 벡터 덧셈 커널의 메모리 로드 명령어 하나가 레지스터-L1-L2-크로스바-메모리 컨트롤러-GDDR6X DRAM까지 왕복하는 전체 경로를 하드웨어 타이밍 실험과 Nsight Compute 카운터로 역설계해 공개했다. NVIDIA가 공식 문서화하지 않은 캐시 해시 함수, L2 슬라이스 매핑, DRAM row 구조 등을 실측 기반으로 추정한 점이 특징이다. GPU 커널 성능 튜닝이나 메모리 바운드 워크로드를 다루는 엔지니어에게 참고할 만한 자료지만, 일부 수치는 저자 스스로 추정임을 밝히고 있다.
무엇이 바뀌었나
Doubleword 블로그의 저자 Fergus Finn이 NVIDIA RTX 4090(sm_89) GPU를 대상으로, 벡터 덧셈(vadd) 커널에서 글로벌 로드 명령어(LDG.E) 하나가 워프에서 발행된 뒤 레지스터 읽기, 코얼레서, L1 캐시, TLB 주소 변환, 크로스바, L2 캐시, 메모리 컨트롤러, GDDR6X DRAM 칩까지 이동했다가 되돌아오는 전체 경로를 상세히 서술한 기술 게시물을 공개했다 [1]. 이 작업은 단순한 이론 설명이 아니라 하드웨어 타이밍 실험, Nsight Compute(ncu) 카운터, 포인터 체이싱 기법을 조합해 실측한 결과이며, NVIDIA가 공식적으로 문서화하지 않은 L1·L2 캐시의 세트 인덱싱 해시 함수, L2 슬라이스 매핑 함수, DRAM row 크기, TLB 구조 등을 추정해 제시했다는 점이 핵심이다 [1].
측정된 지연시간과 병목 지점
측정은 코어 클럭을 2.6GHz로 고정한 상태에서 이뤄졌고, 20,000회의 지연 체이스 홉을 통해 각 단계별 지연시간을 구했다 [1]. L1 캐시 히트는 약 15.4ns(약 40 사이클), L2 캐시 히트는 약 127.4ns(약 330 사이클), 완전히 DRAM까지 갔다가 돌아오는 왕복 경로는 약 255.4ns(약 660 사이클)로 나타났다 [1]. TLB는 16개 엔트리로 구성된 완전 연관(fully associative) LRU 구조이며, 미스 재충전에는 약 4.4ns(약 11 사이클)가 소요됐다 [1]. L1 캐시는 4-way set-associative, 128바이트 라인·32바이트 섹터 구조이고, L2는 36개 슬라이스(슬라이스당 2MiB, 16-way set-associative, 1024세트)로 구성돼 있으며, 이를 뒷받침하는 메모리 컨트롤러는 12개가 384-bit 버스(칩당 32-bit)로 2GiB 용량의 GDDR6X 칩들과 연결된다 [1].
더 흥미로운 지점은 DRAM 내부 접근 패턴이다. 뱅크당 65,536개의 row가 있고 각 row는 1KiB(32바이트 컬럼 32개)로 구성되는데, 같은 row 내에서 추가로 읽을 때는 약 3.4ns만 더 걸리지만 새 row를 여는(activate) 작업은 같은 row를 유지하는 경우보다 약 15배 더 비싸다 [1]. 여기에 더해 전체 접근의 약 2% 정도는 DRAM refresh 때문에 최대 약 210ns의 추가 지연을 겪는 것으로 관찰됐다 [1]. SM 하나당 4개의 서브파티션이 있고 각 서브파티션에는 자신을 포함해 12개의 워프가 상주할 수 있다는 구조도 함께 확인됐다 [1].
실무에 주는 시사점
이 결과는 GPU 커널을 직접 튜닝하거나 메모리 바운드 워크로드를 최적화하는 엔지니어에게 구체적인 참고 자료가 될 수 있다. L1과 L2 히트 사이에 약 8배, L2 히트와 DRAM 왕복 사이에도 상당한 격차가 존재한다는 점은 데이터 지역성을 확보하는 메모리 접근 패턴 설계가 여전히 커널 성능에 큰 영향을 준다는 사실을 다시 확인시켜 준다. 특히 같은 DRAM row 내 접근과 새 row를 여는 접근 사이의 비용 차이가 15배에 달한다는 수치는, 대규모 텐서 연산이나 커스텀 CUDA 커널을 작성하는 팀이 메모리 접근 순서와 스트라이드를 조정할 때 고려할 만한 근거가 된다. 다만 이 실험은 RTX 4090(AD102 기반) 한 세대에 한정된 것이며, 같은 아키텍처 계열의 L40S나 다른 세대의 GPU에 그대로 적용되는지는 별도 확인이 필요하다.
AI 인프라를 운영하는 조직 입장에서는 이런 하드웨어 역설계 자료가 벤더 공식 스펙시트보다 훨씬 세밀한 수준의 병목 지점을 드러낸다는 점에서 의미가 있다. 다만 이 글은 특정 제품 발표나 정책 변경이 아니라 개인 저자의 독립적인 기술 분석이므로, 특정 워크로드에 바로 적용하기 전에 자체 프로파일링으로 재검증하는 절차가 권장된다.
불확실성과 확인이 필요한 부분
저자 스스로 몇 가지 지점을 추정치로 명시했다. DRAM refresh로 인한 약 210ns 지연 스톨이 정확히 어느 물리적 단위(뱅크, 칩, 혹은 그보다 더 국소적인 범위)에서 발생하는지는 확정하지 못했다고 밝혔다 [1]. L2 슬라이스 매핑 함수로 제시된 계산 로직 역시 저자가 하드웨어에 실제로 무엇이 구현돼 있는지 확신하기 어렵다고 밝힌 추정치임을 명시했다 [1]. 또한 실험에 사용된 b 벡터가 PCIe를 통해 호스트 메모리에서 전송되는 과정에서 이미 L2에 캐시돼 있었을 가능성에 대해 저자가 스스로 '예술적 허용(artistic license)'이라는 표현으로 한계를 인정한 부분도 있다 [1]. 따라서 이 게시물이 제시하는 수치와 구조는 하나의 GPU 세대에 대한 정교한 역설계 추정치로 받아들이되, NVIDIA의 공식 스펙과는 별개의 독립적 분석 결과라는 점을 감안해 참고하는 것이 바람직하다.