딥러닝 ASIC 가속기(Accelerator)란?

딥러닝 가속기(Accelerator)란 AI 연산 장치이며, GPU, FPGA, ASIC으로 구분됩니다. Accelerator는 컴퓨터 시스템에서 주연산장치인 CPU를 보완하는 보조 연산장치를 의미하는데 대표적으로 GPU가 있습니다. CPU만으로는 고사양 그래픽 처리를 담당하기에 한계가 있어 GPU가 그래픽 Accelerator로 등장했죠. 지난 게시글 (왜 GPU는 AI 시대에 중요해졌는가?)에서도 설명되었지만 그래픽처리와 딥러닝은 병렬 단순 연산(곱셈, 덧셈 위주) 처리가 주를 이룬다는 공통점이 있습니다. 따라서 딥러닝 Accelerator로 GPU가 많이 활용되고 있죠. FPGA(fileld programmable gate array)는 이름에서 볼 수 있듯이 프로그램 가능한 Chip입니다. 빠르게 진화하는 딥러닝 모델에 맞추어 Chip 구성을 변화할 수 있다는 유연성이 장점이지만, 반대로 효율성이 떨어진다는 단점이 있죠. 아래에서 주로 살펴볼 ASIC (application-specific integrated circuit)은 딥러닝 연산에 특화된 Processor입니다. ASIC은 목표로 하는 응용에 특화되었기 때문에 GPU나 FPGA 대비 효율성은 높지만 유연성은 떨어지는 단점이 있죠. 이번 글에서는 구글(Google) TPU를 중심으로 딥러닝 ASIC의 구조와 특징을 자세하게 살펴보겠습니다.

 

구글 1세대 TPU는 추론(Inference) 연산을 위해 개발된 ASIC으로써 2016년에 처음 발표되었고 이후 2세대와 3세대가 나왔습니다. 특히 TPU 1세대는 구조를 자세히 설명한 논문[1]이 공개되어 ASIC의 특징을 분석하는 데 많은 도움을 주죠. 어떻게 TPU가 AI 연산에 최적화 되었는지 이해하기 위해서는 딥러닝 연산을 살펴볼 필요가 있습니다. 사물인식에 주로 쓰이는 CNN (convolutinoal neural network) algorithm을 예로 들어보죠. CNN Algorithm의 주 과정은 Convolution, Activation, Pooling으로 구성되어 있습니다. Convolution은 화면을 Filtering하여 영상의 특징(Feature)를 추출하는 과정입니다. CNN을 활용한 영상인식 AI 모델의 대부분은 Filter 정보를 담고 있죠. Convolution을 마친 후 다음 단계로의 데이터 전달 여부를 판단하는 Activation을 거칩니다. 이는 우리 뇌의 정보 전달을 모사한 구조인데 뇌의 뉴런은 신호를 다음 단계로 전달할지 말지 결정하는 단계가 있다고 하네요. 다음은 선택적(Optional) 단계로써 Pooling이 있습니다. Pooling은 주변의 몇 개의 Pixel값 중 제일 크거나 작은 값만을 선택하여 남기는데 정보의 압축과정이라고 보면 됩니다. 아래 그림에서는 색깔별로 구분된 구역 중에서 가장 큰 값만이 선택되었네요. 다시 구글 TPU 구조를 살펴보면 Convolution을 담당하는 Matrix multiplication unit, Activation unit, Pooling 및 Normalization를 맡은 unit이 각각 존재하는 것을 확인할 수 있습니다. 딥러닝 연산에 적합하도록 하드웨어가 설계된 셈이지요.

 

Pooling 예시 (source: DeepAI.org)

또 다른 TPU의 특징으로는 데이터 재사용율을 높이기 위한 Systolic array 방식의 Matrix multiplication unit이 있습니다. Systolic이란 “혈관을 흐르는”이라는 뜻을 가진 단어인데, 혈관이 우리 몸의 세포를 지나가듯 데이터가 연산을 담당하는 Processing unit을 지나간다는 의미를 갖습니다. 이는 데이터의 재사용율을 높이기 위한 구조인데요, 재사용율이란 메모리로부터 가져온 데이터를 얼마나 반복하여 연산하는가를 의미합니다. 데이터 재사용율은 딥러닝 연산에서 매우 중요합니다. 데이터를 DRAM으로부터 가져오는 긴 시간(Latency) 동안 Processor는 쉬어야 하기 때문에 동일 시간에 수행할 수 있는 작업량이 줄어듭니다. 또한 DRAM으로부터 데이터 가져오는 작업은 에너지를 많이 소모하죠. 따라서 딥러닝 Accelerator 설계자 입장에서는 DRAM에서 가져온 데이터를 최대한 많이 사용하고자 합니다. 아래의 Matrix multiplication unit에서는 딥러닝 model data (weight)가 위에서 아래로, Feature map등 화면 data는 좌에서 우로 흘러가고 최대 256번까지 연산됩니다. 데이터가 각 Processing unit을 지나가면서 1번의 곱셈과 덧셈 연산을 하게 되죠. Matrix multiply unit의 왼쪽을 보면 “Systolic data setup”이라는 블록이 있는데 위에서 내려오는 딥러닝 모델의 Weight에 맞춰 연산을 수행하기 위해 중간 결과값(Feature map)을 스케쥴링하는 역할을 합니다. Systolic array 방식으로 한번에 약 5만번의 계산을 수행하는 연산 장치를 효율적으로 활용하기 위한 블록이죠.

 

TPU Architecture 및 Systolic Array (source: Google[1])

메모리 관점에서 본다면 구글 TPU는 SRAM 메모리의 사이즈가 큽니다. 24MB의 SRAM은 추론(Inference)를 수행하면서 생성되는 중간 결과값을 저장하는 역할을 합니다. CNN의 영상인식을 예로 든다면 각 Layer를 지나면서 생성되는 무수히 많은 Feature map이 SRAM에 저장되겠죠. 앞에서도 말했지만 DRAM에 데이터를 저장하고 불러오는 작업은 시간과 에너지가 많이 소모되기 때문에 결과값을 버퍼 역할을 하는 대용량의 SRAM에 저장시키고 최대한 DRAM을 Access하지 않으려 한 시도이지요. 추가로 TPU 1세대에서는 딥러닝 Model의 저장을 위해 DDR3를 사용했는데 Google의 논문에서도 나와 있듯이 느린 DRAM의 Bandwidth가 TPU의 연산 속도를 따라가지 못해 전체적인 TPU 시스템 성능의 제약으로 작용합니다. 이 때문에 TPU 2세대에서부터는 현 메모리 중 Bandwidth가 가장 큰 HBM을 장착하죠. 구글이 정확히 공개하지 않았지만 2,3세대는 1세대의 기본 아키텍처를 유지하는 가운데 집적도를 높인 것으로 추정됩니다.

 

이 외의 딥러닝 ASIC 업체는 2019년 말 Intel에 인수된 이스라엘 스타트업 Habana가 있습니다. Habana는 Intel 인수 전 Training용 Gaudi와 Inference용 Goya를 출시했습니다. Gaudi의 딥러닝 연산의 핵심은 TCP(tensor core processor)입니다. Habana 설명에 따르면 TCP는 VLIW SIMD 구조라고 하네요. VLIW (very long instruction word)는 긴 명령어 구조안에 여러 독립적인 명령어를 넣어서 한 번의 Instruction으로 여러 프로세서를 구동하는 구조입니다. SIMD(single instruction multi data)는 하나의 명령어로 여러 데이터의 연산을 수행하는 벡터용 구조이지요. VLIW SIMD 구조는 한 번의 Instruction으로 TCP 내 작은 Processor를 구동시켜 Instruction의 overhead를 낮추고, 딥러닝 연산의 대부분을 차지하는 벡터(행렬)연산의 효율성을 높이기 위한 전략으로 보입니다. Gaudi와 Goya의 주요 차이점은 Memory interface에 있습니다. 대량의 데이터를 학습하기 위해 Memory의 Throughput(bandwidth)가 중요한 Training용 Gaudi에는 HBM2를 탑재하였고, 상대적으로 Latency가 중요한 Inference용 Goya에는 DDR4가 탑재되었습니다. 물론 HBM이나 DDR4외에도 Scratchpad 형식의 On-chip memory가 포함되어 메모리 접근의 Latency를 줄이려고 했지요.

 

Gaudi and Goya Architecture (Source: Habana labs)

마지막으로 살펴볼 업체는 영국의 Graphcore입니다. Graphcore의 딥러닝용 ASIC인 IPU(intelligence processing unit)는 Scratchpad 형식의 SRAM이 300MB나 탑재된 특징을 갖고 있습니다. Graphcore의 Architecture는 Citadel에서 작성한 White paper[2]를 참고했습니다. Graphcore는 1216개의 Tile로 구성되어 있는데 1개의 Tile에는 1개의 AMP와 256KB Scratchpad memory가 포함되어 있습니다. AMP는 Habana의 TCP와 같이 VLIW SIMD 프로세서로써 벡터(행렬) 연산을 병렬 수행할 수 있도록 설계되어 있습니다. IPU의 특징은 총 300MB나 되는 Scratch memory입니다. Graphcore의 설명에 따르면 Processor 옆에 위치한 Scratchpad memory를 활용함으로써 데이터 접근에 드는 시간(Latency)를 줄이고 전체적인 성능 향상을 이룰 수 있다고 합니다. 하지만 딥러닝 모델과 중간 연산값의 합이 Scratchpad memory 범위를 벗어나면 기존 Processor와 동일하게 DRAM으로부터 데이터를 가져와야 하기 때문에 한계가 있습니다. 또한, 1216개의 Tile에 존재하는 메모리와 프로세서에 적절히 데이터를 분배하고, 연산 스케쥴링을 하여 프로세서의 성능을 최대한 끌어올리는 일은 쉽지 않아 보입니다. 이를 위해서는 Library 지원을 비롯한 컴파일 능력이 필요한데 Graphcore가 어느 수준인지 아직 확인이 되지 않네요.

 

IPU Architecture (source: Graphcore)

지금 살펴본 세 업체 모두 기존 딥러닝 연산 프로세서의 대표격인 엔비디아의 GPU와의 비교를 통해 ASIC의 효율성 및 성능을 홍보하고 있습니다. 실제 서비스에 들어간 구글 TPU를 제외하고는 나머지 업체들은 시작 단계인데 어느정도나 기존 엔비디아의 시장을 가져올 수 있을지 지켜봐야겠습니다.

 

 

[1] N. P. Jouppi et al., 2017, In-Datacenter performance analysis of a tensor processing unit, proceedings on 44th ISCA

[2] Z. Jia et al., 2019, Dissecting the Graphcore IPU architecture via microbenchmarking, Technical report