자연어처리 모델 학습을 위한 하드웨어 구성은? (NVIDIA Grace)
자연어처리 모델 및 연구/서비스 주체에 대한 설명이었던 지난글(자연어처리란 무엇이며 누가 주도하는가?)에 이어 이번에는 하드웨어 관점에서 자연어처리의 영향성을 분석하려고 합니다. 지난글에서도 말했듯이 자연어처리는 다른 인공지능 응용에 비해 큰 모델 사이즈(수천억 parameters)와 이렇게 큰 모델의 학습을 위한 대규모의 학습 데이터가 특징입니다. 따라서 자연어처리를 위한 하드웨어의 구성은 다른 응용 대비 큰 모델과 대량의 학습데이터에 적합하도록 최적화되어야겠죠. 딥러닝 모델 학습 중요 하드웨어 요소: GPU(Accelerator)와 HBM 딥러닝 모델 학습에 있어서 가장 중요한 하드웨어 요소 두 가지는 연산을 수행하는 GPU(Accelerator)와 연산에 필요한 데이터를 제공하는 메모리(HBM)입니..
Processing in Memory (PIM)이란? (1) - 개념과 분류
얼마 전 과학기술정보통신부와 산업통상자원부는 "AI 반도체 선도국가 도약으로 AI·종합반도체 강국 실현" 달성을 위한 전략과 실행 과제를 밝혔는데 여기서 3대 과제 중 하나로 PIM(processing in memory)가 등장합니다. 대한민국의 AI 반도체 경쟁우위 확보를 위해 PIM의 개발이 중요하며 이에 필요한 인력 교육, 연구 개발에 정부가 지원하겠다는 내용입니다. 미래에 AI가 중요하며 경쟁력 확보를 위한 정부의 지원은 이해가 가는데 PIM은 생소한 분들이 많을 겁니다. 이 글에서는 PIM의 개념을 설명하고 AI 시대에 PIM이 왜 중요한지, 정부가 왜 PIM을 육성하려고 하는지 설명하겠습니다. PIM (processing in memory) 이란? PIM은 단어 그대로 메모리에서 연산이 이뤄짐..