Life_Is_Enjoyable

테슬라하면 떠오르는 단어가 2개 있습니다. 바로 자율주행과 전기차죠. 이번 글에서는 테슬라 자율주행이 어떻게 AI 알고리즘으로 구현되었는지 알아보겠습니다. 이 글의 내용은 대부분 Tesla AI Day 2021 발표 내용을 기반으로 했습니다. 테슬라 자율주행 시스템의 구성 테슬라 자율주행 시스템은 아래와 같이 크게 3 부분으로 구성되어 있습니다. 첫번째로 가장 중요한 "Vision" 부문입니다. Vision은 차량 주변을 인식하고 사물의 움직임을 예측하는 시스템으로 여기서 인식한 정보가 차량 운행의 기본이 되기 때문에 중요합니다. 실제 Tesla AI Day 2021에서도 상당 시간을 Vision 시스템에 할당해 설명하고 있습니다. 그 다음은 차량을 어떻게 운행할지 계획하는 "Neural Net Plan..

칩렛(Chiplet)이란 무엇인가? 칩렛(Chiplet)은 Processor를 구성하는 작은 구성 단위 혹은 IP(Intellectual property) Block 단위이며 레고 블록과 유사하다고 할 수 있습니다. 각기 다른 기능을 수행하는 여러 칩렛을 Building Block으로 해서 프로세서를 만드는 기술이죠. 이와 비슷한 개념으로는 MCM(multi chip module)이 있는데, MCM은 하나의 단위 칩이 독립적으로 동작할 수 있도록 모든 기능이 들어가 있고 칩렛은 각 칩렛이 단위칩으로 동작할 수 없다는 차이가 있습니다. 아래 그림에서 확인할 수 있듯이 가운데 MCM의 경우에는 하나의 CPU가 4개의 Die로 구성되어 있으며 각 Die가 독립적으로 동작할 수 있도록 연산을 담당하는 Core ..

지난 글(자연어처리 모델 학습을 위한 하드웨어 구성은? - NVIDIA Grace)에서 NLP 모델의 학습시 큰 모델 크기와 대규모 학습 데이터 때문에 여러 GPU에 나누어 연산하는 분산학습이 이뤄진다고 간단히 설명했는데 이번 글에서는 본격적으로 딥러닝 분산학습(Distributed learning)에 대해 알아보겠습니다. 딥러닝 분산학습 방법에는 학습 데이터를 여러 GPU에 나눠 학습하는 Data parallelism과 모델을 여러 GPU에 나누는 Model parallelism이 있습니다. 딥러닝 학습이란? 분산학습에 대해 알아보기 전에 딥러닝 학습이란 무엇인지부터 정리하죠. 딥러닝 연산은 크게 학습과 추론으로 나뉘는데 이에 대한 설명은 이전글(딥러닝 학습/추론과 이에 따른 하드웨어 차이)를 참고해주..

자연어처리 모델 및 연구/서비스 주체에 대한 설명이었던 지난글(자연어처리란 무엇이며 누가 주도하는가?)에 이어 이번에는 하드웨어 관점에서 자연어처리의 영향성을 분석하려고 합니다. 지난글에서도 말했듯이 자연어처리는 다른 인공지능 응용에 비해 큰 모델 사이즈(수천억 parameters)와 이렇게 큰 모델의 학습을 위한 대규모의 학습 데이터가 특징입니다. 따라서 자연어처리를 위한 하드웨어의 구성은 다른 응용 대비 큰 모델과 대량의 학습데이터에 적합하도록 최적화되어야겠죠. 딥러닝 모델 학습 중요 하드웨어 요소: GPU(Accelerator)와 HBM 딥러닝 모델 학습에 있어서 가장 중요한 하드웨어 요소 두 가지는 연산을 수행하는 GPU(Accelerator)와 연산에 필요한 데이터를 제공하는 메모리(HBM)입니..

요즘 인공지능/딥러닝 연구 중 가장 뜨거운 분야는 자연어처리(NLP)입니다. 그래서 이번 글에서는 자연어 처리가 왜 주목받고 있으며 자연어 처리의 연구 및 서비스 제공은 누가 주도하고 있는지에 대해 알아봅니다. 자연어 처리(NLP)란? 자연어 처리(natural language processing)란 인간이 사용하는 언어에 대한 이해 및 이를 바탕으로 한 다양한 인공 지능의 활동을 가리킵니다. 우선 "자연어"라는 말이 어색할 수 있는데 "기계어"에 반대되는 말로 해석하면 이해가 쉽습니다. 지금까지 컴퓨터는 사람이 작성한 Code를 컴파일러를 통해 기계어로 변환한 다음 이를 바탕으로 연산을 수행했습니다. 하지만 사람이 자연어를 Code로 바꾸고 다시 이것을 기계어로 변환해온 기존 프로세스와 달리 이제부터는..

PIM의 개념에 대해 설명한 이전글(Processing in memory(PIM)이란? (1) - 개념 및 정의)에 이어 PIM의 사용 방법을 개념적으로 제시한 Google 및 Facebook의 논문과 HBM을 활용해 PIM을 구현한 삼성의 사례를 통해 기업들은 PIM을 어떻게 실제로 구현하고 활용하려 하는지 알아보겠습니다. Google - Consumer 기기의 에너지 사용 절감 Google은 2018년 발표한 논문[1]에서 스마트폰, 크롬북 등 컨슈머 기기에 PIM을 도입함으로써 메모리와 프로세서 사이의 데이터 이동을 줄이고 이를 통해 에너지 사용 및 Power를 절감함으로써 베터리 사용 기간 증가와 Thermal throtlling 감소를 이룰 수 있는 방법을 제시했습니다. Google이 말한 PI..

Facebook이 제안한 PIM 관련해 Embedding table에 대한 설명이 필요해서 이 글을 작성하게 되었습니다. PIM 글 내에서 다루려 했는데 내용이 길어질 것 같아 여기에 정리합니다. Embedding table이란? Embedding table는 Categorical data를 Numerical data로 변환하며 이를 통해 Sparse matrix가 Dense matrix로 바뀌어 연산의 효율성을 높일 수 있습니다. 위 문장만 보면 한글로 써있지만 무슨 말인지 해석인 안될 수 있을텐데 이제 차근차근 설명하겠습니다. Categorical data vs. Numerical data Categorical data는 수치로 표현할 수 없는, Matrix로 표현할 때 각 속성을 하나의 고유한 Ca..

요즘 Deep learning에서 주목받고 있는 학습법인 Self-supervised learning을 소개할까 합니다. 이번 글에서는 Self-supervised learning에 대한 간단한 소개 이후 왜 이 학습법이 주목받는지, Self-supervised learning 향후 데이터 센터를 중심으로 한 Deep learning (AI) 생태계에 어떠한 영향을 미칠지에 대해 이야기해보겠습니다. 자세한 Self-supervised learning의 학습 방법은 영상을 중심으로 여기 블로그(hoya012.github.io/blog/Self-Supervised-Learning-Overview/)에 잘 정리되어 있기 때문에 참고하시면 될 것 같습니다. Self-supervised learning이란? Se..