자연어처리 모델 학습을 위한 하드웨어 구성은? (NVIDIA Grace)
자연어처리 모델 및 연구/서비스 주체에 대한 설명이었던 지난글(자연어처리란 무엇이며 누가 주도하는가?)에 이어 이번에는 하드웨어 관점에서 자연어처리의 영향성을 분석하려고 합니다. 지난글에서도 말했듯이 자연어처리는 다른 인공지능 응용에 비해 큰 모델 사이즈(수천억 parameters)와 이렇게 큰 모델의 학습을 위한 대규모의 학습 데이터가 특징입니다. 따라서 자연어처리를 위한 하드웨어의 구성은 다른 응용 대비 큰 모델과 대량의 학습데이터에 적합하도록 최적화되어야겠죠. 딥러닝 모델 학습 중요 하드웨어 요소: GPU(Accelerator)와 HBM 딥러닝 모델 학습에 있어서 가장 중요한 하드웨어 요소 두 가지는 연산을 수행하는 GPU(Accelerator)와 연산에 필요한 데이터를 제공하는 메모리(HBM)입니..
딥러닝 학습/추론과 이에 따른 하드웨어 차이 비교
딥러닝 학습은 축적된 데이터를 바탕으로 신경망 내의 정보 전달 관련 Weight를 Update하여 딥러닝 모델을 만드는 과정이며, 추론은 만들어진 모델을 활용해 주어진 Input에 대한 해석 결과를 내놓는 단계입니다. 두 단계의 선후관계를 따져본다면 딥러닝 모델을 학습한 후 추론을 하게 되죠. 좀 더 자세히 살펴보면 학습은 Forward propagation과 Backward propagation을 무수히 많이 반복하며 추론은 Forward propagation을 한 번 수행한 후 종료됩니다. 딥러닝 추론이란? 그럼 좀 더 간단한 추론과 Forward propagation을 살펴보겠습니다. 이 글에서는 영상인식에 주로 활용되는 CNN 알고리즘을 예로 들어보죠. 영상인식의 입력(Input)은 사진입니다. ..