고대역폭 메모리(HBM) — 메모리를 층층이 쌓아 AI 계산을 빠르게 한 기술
한눈에 보기
고대역폭 메모리, 곧 HBM은 여러 장의 D램을 수직으로 쌓아 한 번에 많은 데이터를 옮기는 메모리이다. 대역폭은 일정한 시간에 지나갈 수 있는 데이터의 양을 뜻한다. HBM 메모리 작동 원리의 핵심은 길고 좁은 통로 하나를 빠르게 달리는 대신, 짧고 넓은 통로를 수없이 나란히 두는 데 있다. 인공지능 가속기 가까이에서 계산에 필요한 숫자를 빠르게 공급한다.
등장하기 전의 세상
기존 그래픽 카드는 프로세서 둘레의 회로 기판에 메모리 칩을 나란히 놓고 긴 배선으로 연결했다. 칩의 속도를 높이면 더 많은 데이터를 보낼 수 있지만 전력과 열도 늘어났다. 화면의 픽셀이나 과학 데이터를 처리할 때는 거대한 자료 묶음을 계속 읽어야 한다. 계산 장치가 빨라질수록 메모리가 자료를 가져오는 속도가 따라가지 못하는 병목이 커졌다. 넓은 창고라도 출입구가 좁으면 물건을 빨리 꺼내지 못하는 것과 비슷하다.
탄생과 발전
기술자들은 메모리 칩을 옆으로 늘어놓는 대신 위로 쌓는 방법을 발전시켰다. SK하이닉스는 2009년 HBM 개발을 시작해 2013년 첫 제품을 내놓았고, 같은 해 JEDEC은 첫 표준을 발표했다. 표준은 회사들이 같은 규칙으로 부품을 만들고 연결하도록 정한 약속이다. AMD는 HBM을 적용한 그래픽 처리 장치를 2015년 시장에 선보였다. 이후 층 수와 속도, 용량이 커지며 HBM2, HBM3와 HBM3E로 발전했다.
작동 원리
HBM은 얇은 D램 칩을 포개고 TSV라는 수직 통로로 잇는다. TSV는 실리콘을 위아래로 관통하는 가느다란 전기 길이며, 층 사이는 작은 접점인 마이크로범프로 연결된다. 쌓인 메모리는 실리콘 인터포저라는 정밀한 연결판 위에서 그래픽 처리 장치나 AI 가속기와 나란히 놓인다. 거리를 줄이고 1,024비트처럼 매우 넓은 입출력 길을 쓰므로 비교적 낮은 동작 속도에서도 많은 데이터를 한꺼번에 보낸다. 대신 얇은 칩을 정확히 쌓고 열을 빼내는 설계가 중요하다.
세상을 바꾼 방식
HBM은 수많은 연산 회로에 데이터를 동시에 공급할 수 있게 했다. 인공지능 학습은 행렬이라 부르는 숫자 표를 거듭 계산하므로 연산 능력만큼 메모리 대역폭이 중요하다. HBM이 가까운 거리에서 자료를 넓게 보내면 가속기가 기다리는 시간이 줄고, 데이터를 옮기는 에너지도 아낄 수 있다. 그 결과 거대한 언어 모델, 기상 예측, 우주와 입자 연구처럼 큰 자료를 다루는 계산이 빨라졌다.
흥미로운 이야기
HBM은 그래픽 처리 장치 속에 완전히 들어가는 메모리가 아니다. 두 부품은 한 패키지 안에서 가깝게 자리하지만 서로 다른 칩이며, 인터포저가 촘촘한 길을 이어 준다. 메모리를 높이 쌓는다고 무조건 좋은 것도 아니다. 층이 늘면 이동 거리는 짧아지지만 열과 제조 난도, 불량을 가려내는 문제가 커진다. 따라서 적층 수뿐 아니라 접합 방식과 냉각, 검사 기술도 함께 발전해야 한다.
오늘날 남은 영향
오늘날 HBM은 인공지능 서버와 고성능 컴퓨터의 핵심 부품이다. HBM3E는 더 빠른 흐름과 큰 용량을 제공하고, HBM4는 더 넓은 연결과 차세대 패키징을 향해 발전하고 있다. 다만 빠른 HBM 하나만으로 컴퓨터 전체가 빨라지지는 않는다. 계산 장치, 칩 사이 연결망, 저장 장치와 냉각 시스템이 균형을 이뤄야 한다. 메모리를 위로 쌓고 계산 장치 가까이 옮긴 발상이 데이터 중심 시대의 중요한 길이 된 것이다.