GPU 다음은 메모리다: AI 시대의 진짜 병목
GPU 경쟁 뒤에 남은 질문 지난 몇 년 동안 AI 인프라의 상징은 GPU였다. 더 많은 GPU를 확보하면 더 큰 모델을 학습하고 더 빠른 추론을 제공할 수 있다는 설명은 여전히 유효하다. 그러나 현장에서는 다른 질문이 커지고 있다. 연산 장치가 충분해도 데이터가 제때 들어오지 못하면 성능은 기대만큼 올라가지 않는다. 대규모 언어모델은 가중치, 중간 활성값, KV 캐시, 배치별 …