AI 가속기의 핵심인 HBM의 한계를 극복하고, 더 빠르고 효율적인 연산을 가능하게 하는 글로벌 반도체 기업들의 흥미로운 기술 경쟁을 살펴봅니다.
AI 시대의 숨은 조력자, 그러나 직면한 딜레마
최근 몇 년 사이 거대언어모델이 우리의 일상과 업무 방식을 근본적으로 바꿔놓고 있다는 사실은 누구도 부인하기 어려울 것입니다. 텍스트를 생성하고 복잡한 질문에 답하는 이 놀라운 기술의 이면에는 엄청난 양의 데이터를 처리하는 하드웨어의 발전이 굳건히 자리 잡고 있습니다. 특히 AI 가속기의 성능을 좌우하는 핵심 요소가 단순한 연산 능력을 넘어 메모리 대역폭으로 옮겨가면서, 고대역폭메모리라고 불리는 HBM은 어느새 AI 시대의 가장 필수적인 부품으로 등극했습니다.
거대언어모델의 학습과 추론 과정은 우리가 상상하는 것 이상으로 방대한 데이터를 끊임없이 주고받아야만 가능합니다. 초당 수 테라바이트에 이르는 엄청난 메모리 대역폭이 요구되기 때문에, 엔비디아나 AMD, 구글 같은 빅테크 기업들의 최신 가속기들은 약속이나 한 듯이 고용량의 HBM을 채택하고 있습니다. 쏟아지는 기술 기사를 읽다 보면 이 HBM이라는 단어가 결코 빠지지 않고 등장하는 이유도 바로 이러한 배경 때문입니다.
하지만 이렇게 화려한 스포트라이트를 받는 HBM에도 꽤 묵직한 고민거리가 숨어 있습니다. 여러 개의 D램을 수직으로 층층이 쌓아 올린 뒤 프로세서와 연결하는 방식이다 보니, 제조 공정이 상상을 초월할 정도로 복잡하고 자연스럽게 생산 단가도 치솟게 됩니다. 첨단 패키징 공정은 물론이고 두 칩을 연결하는 실리콘 인터포저라는 값비싼 부품까지 더해져야 해서, 수요가 폭발한다고 해도 마음대로 생산량을 늘리기 힘든 것이 현재의 뼈아픈 현실입니다.
결국 압도적인 성능을 얻는 대가로 엄청난 비용을 지불해야 하는 상황이 되었습니다. 초기 모델 학습 단계에서는 막대한 비용을 감수하더라도 최고의 성능이 필요했지만, 이제 인공지능이 거대한 클라우드를 넘어 개인의 컴퓨터나 다양한 환경으로 확장되는 추론의 시대로 접어들고 있습니다. 모든 환경에 턱없이 비싼 HBM을 고집하는 것은 현실적으로 불가능해졌고, 업계는 자연스럽게 대안을 찾아 나서기 시작했습니다.
삼성전자가 그리는 차세대 메모리의 청사진
이러한 흐름 속에서 가장 흥미로운 접근 중 하나는 아예 메모리의 역할을 재정의하려는 시도입니다. 삼성전자가 선제적으로 선보인 PIM 기술과 PNM 기술은 기존의 컴퓨터 구조가 가진 근본적인 비효율성을 날카롭게 파고들었습니다. 보통의 컴퓨터는 프로세서가 메모리에서 데이터를 가져와서 연산을 한 뒤 다시 돌려놓는 방식을 사용하는데, 데이터가 부지런히 이동하는 이 과정 자체가 심각한 병목 현상을 일으키고 불필요한 에너지를 낭비하게 만듭니다.
삼성전자는 이 고질적인 문제를 해결하기 위해 메모리 내부에 아예 연산 기능을 집어넣는 PIM 기술을 HBM에 적용했습니다. 최근 관련 자료를 찾아보면서 제가 가장 인상 깊었던 부분은, 상용화된 AMD의 가속기에 이 HBM-PIM을 적용해 실험해 본 결과 기존 대비 성능은 두 배가량 높아지고 에너지 소모는 절반으로 줄어들었다는 사실이었습니다. 단순히 데이터 처리 속도만 억지로 끌어올린 것이 아니라, 전력 효율성 측면에서 구조적으로 엄청난 진전을 이루어낸 셈입니다.
환경적인 측면을 고려하면 이는 무척 의미 있는 결과를 만들어냅니다. 일 년 동안 사용하는 막대한 에너지를 크게 절감할 수 있는데, 이를 탄소 배출량으로 환산하면 소나무 1억 그루가 일 년 동안 흡수하는 양과 맞먹는다고 합니다. 거대언어모델을 훈련시키는 데이터센터가 전기를 블랙홀처럼 빨아들인다는 비판을 피할 수 없는 현시점에서, 이러한 반도체 기술의 혁신은 지속 가능한 발전을 향한 훌륭한 본보기가 되어줍니다.
이와 더불어 다루는 데이터의 특성에 따라 접근 방식을 세분화한 점도 눈에 띕니다. 자율주행이나 음성인식처럼 정보가 촘촘하게 묶인 밀집데이터에는 메모리 안에서 직접 연산하는 PIM을 적용하고, 알고리즘 추천처럼 흩어진 희소데이터에는 메모리 근처에 연산 유닛을 두는 CXL 기반의 PNM 기술을 적용합니다. 모든 문제를 단 하나의 도구로만 억지로 해결하려는 대신, 상황과 조건에 맞는 가장 효율적인 맞춤형 해결책을 제공하려는 영리한 전략입니다.
퀄컴과 인텔의 과감한 구조적 혁신
메모리 반도체를 만드는 회사들이 칩의 기능적인 통합을 고민할 때, 시스템 반도체를 설계하는 글로벌 기업들은 또 다른 시각에서 구조적인 혁신을 과감하게 시도하고 있습니다. 퀄컴은 스마트폰과 노트북에 주로 쓰이는 저전력 메모리인 LPDDR6를 활용해 고가의 HBM이 차지하던 자리를 채우려는 흥미로운 계획을 내놓았습니다. HBM보다 절대적인 스펙은 낮을지언정 가격이 저렴하고 공급망이 안정적이라는 지극히 현실적인 장점에 주목한 것입니다.
퀄컴이 구상하는 전략은 무작정 부품의 성능을 끌어올리는 대신, 시스템 구조를 뒤바꿔 데이터의 물리적 이동 경로를 극단적으로 줄이는 것입니다. 연산을 담당하는 가속기 바로 아래에 D램을 바짝 붙여 쌓아 올리는 고대역폭 연산 구조를 채택했습니다. 칩과 칩 사이의 거리를 좁혀서 발열과 전력 소모를 확실하게 잡고 메모리 효율을 극대화하겠다는 계산인데, 무식한 힘보다는 영리한 동선으로 승부를 보겠다는 뜻으로 읽혀 무척 신선하게 다가옵니다.
한편 인텔은 HBM이 진입 장벽을 높게 치고 있는 가장 큰 이유 중 하나인 패키징 비용을 정조준했습니다. 칩과 메모리를 연결할 때 넓고 값비싼 실리콘 인터포저를 쓰는 대신, 칩렛 연결 표준인 UCIe를 활용해 프로세서를 연결하는 크로스배치 메모리라는 완전히 새로운 구조의 특허를 출원했습니다. 제조 공정의 높은 난도를 기술적으로 우회하여 전체적인 비용을 덜어내겠다는 실용적인 해법입니다.
인텔이 공개한 도면을 들여다보면, 메모리 일부에 결함이 생기더라도 기기가 알아서 결함 부위를 우회하는 자체 복구 기능까지 포함되어 있습니다. 메모리를 여러 층으로 아슬아슬하게 쌓아 올릴 때 어느 한 곳에만 불량이 나도 칩 전체를 버려야 했던 뼈아픈 수율 문제를 근본적으로 해결하기 위한 고민의 흔적입니다. 이처럼 기업들이 각자의 무기를 갈고닦으며 기존의 낡은 방식을 어떻게든 부수고 새롭게 조립해 보려는 과정이 참으로 흥미롭습니다.
효율성이 이끄는 새로운 컴퓨팅의 내일
지금의 기술 지형도를 가만히 지켜보면 당분간 HBM이 반도체 시장의 왕좌에서 단번에 내려올 것 같지는 않습니다. 여전히 최고 수준의 연산 능력을 쥐어짜 내야 하는 대규모 모델의 초기 학습 단계에서는 현실적으로 이만한 대안을 찾기 어렵기 때문입니다. 하지만 시장의 무게 중심이 막대한 데이터를 학습하는 것에서 일상적으로 추론하는 방향으로, 거대한 데이터센터에서 우리 주변의 작은 기기들로 서서히 이동하면서 견고했던 질서에도 분명한 변화의 틈이 생기고 있습니다.
인텔이 비싼 인터포저를 덜어내려 연구하고, 퀄컴이 모바일용 메모리를 가속기에 붙이려 애쓰며, 삼성전자가 메모리 자체에 연산 능력을 심으려 노력하는 이 모든 시도들은 결국 뚜렷한 하나의 지향점을 가리키고 있습니다. 맹목적인 속도와 스펙 경쟁을 넘어, 비용과 전력 소모를 얼마나 똑똑하게 통제하고 최적화하느냐가 다음 세대 기술의 성패를 가를 것이라는 분명한 선언입니다.
우리가 무심코 인공지능에게 질문을 던지고 답변을 기다리는 그 짧은 찰나에, 기계 안에서는 이렇듯 데이터를 한 치라도 더 빠르고 효율적으로 옮기기 위한 숨 막히는 혁신이 쉼 없이 펼쳐지고 있습니다. 어떤 특정한 기술이 최종적인 승리의 깃발을 꽂을지 지금 단언할 수는 없겠지만, 확실한 것은 이런 치열한 고민들이 모여 낯설게만 느껴졌던 인공지능 기술을 우리 삶에 훨씬 자연스럽게 스며들도록 만들어 줄 것이라는 점입니다.
