티스토리

Life_Is_Enjoyable

검색하기

블로그 홈

Life_Is_Enjoyable

lifeisenjoyable.tistory.com/m

Homo Nomad 님의 블로그입니다.

구독자: 10

방명록 방문하기

주요 글 목록

테슬라(Tesla) 자율주행 AI 알고리즘 테슬라하면 떠오르는 단어가 2개 있습니다. 바로 자율주행과 전기차죠. 이번 글에서는 테슬라 자율주행이 어떻게 AI 알고리즘으로 구현되었는지 알아보겠습니다. 이 글의 내용은 대부분 Tesla AI Day 2021 발표 내용을 기반으로 했습니다. 테슬라 자율주행 시스템의 구성 테슬라 자율주행 시스템은 아래와 같이 크게 3 부분으로 구성되어 있습니다. 첫번째로 가장 중요한 "Vision" 부문입니다. Vision은 차량 주변을 인식하고 사물의 움직임을 예측하는 시스템으로 여기서 인식한 정보가 차량 운행의 기본이 되기 때문에 중요합니다. 실제 Tesla AI Day 2021에서도 상당 시간을 Vision 시스템에 할당해 설명하고 있습니다. 그 다음은 차량을 어떻게 운행할지 계획하는 "Neural Net Plan.. 공감수 3 댓글수 0 2022. 3. 31.
칩렛(Chiplet)이란? 칩렛(Chiplet)이란 무엇인가? 칩렛(Chiplet)은 Processor를 구성하는 작은 구성 단위 혹은 IP(Intellectual property) Block 단위이며 레고 블록과 유사하다고 할 수 있습니다. 각기 다른 기능을 수행하는 여러 칩렛을 Building Block으로 해서 프로세서를 만드는 기술이죠. 이와 비슷한 개념으로는 MCM(multi chip module)이 있는데, MCM은 하나의 단위 칩이 독립적으로 동작할 수 있도록 모든 기능이 들어가 있고 칩렛은 각 칩렛이 단위칩으로 동작할 수 없다는 차이가 있습니다. 아래 그림에서 확인할 수 있듯이 가운데 MCM의 경우에는 하나의 CPU가 4개의 Die로 구성되어 있으며 각 Die가 독립적으로 동작할 수 있도록 연산을 담당하는 Core .. 공감수 32 댓글수 2 2022. 3. 22.
딥러닝 모델의 분산학습이란? (Data parallelism과 Model parallelism) 지난 글(자연어처리 모델 학습을 위한 하드웨어 구성은? - NVIDIA Grace)에서 NLP 모델의 학습시 큰 모델 크기와 대규모 학습 데이터 때문에 여러 GPU에 나누어 연산하는 분산학습이 이뤄진다고 간단히 설명했는데 이번 글에서는 본격적으로 딥러닝 분산학습(Distributed learning)에 대해 알아보겠습니다. 딥러닝 분산학습 방법에는 학습 데이터를 여러 GPU에 나눠 학습하는 Data parallelism과 모델을 여러 GPU에 나누는 Model parallelism이 있습니다. 딥러닝 학습이란? 분산학습에 대해 알아보기 전에 딥러닝 학습이란 무엇인지부터 정리하죠. 딥러닝 연산은 크게 학습과 추론으로 나뉘는데 이에 대한 설명은 이전글(딥러닝 학습/추론과 이에 따른 하드웨어 차이)를 참고해주.. 공감수 9 댓글수 0 2021. 7. 24.
자연어처리 모델 학습을 위한 하드웨어 구성은? (NVIDIA Grace) 자연어처리 모델 및 연구/서비스 주체에 대한 설명이었던 지난글(자연어처리란 무엇이며 누가 주도하는가?)에 이어 이번에는 하드웨어 관점에서 자연어처리의 영향성을 분석하려고 합니다. 지난글에서도 말했듯이 자연어처리는 다른 인공지능 응용에 비해 큰 모델 사이즈(수천억 parameters)와 이렇게 큰 모델의 학습을 위한 대규모의 학습 데이터가 특징입니다. 따라서 자연어처리를 위한 하드웨어의 구성은 다른 응용 대비 큰 모델과 대량의 학습데이터에 적합하도록 최적화되어야겠죠. 딥러닝 모델 학습 중요 하드웨어 요소: GPU(Accelerator)와 HBM 딥러닝 모델 학습에 있어서 가장 중요한 하드웨어 요소 두 가지는 연산을 수행하는 GPU(Accelerator)와 연산에 필요한 데이터를 제공하는 메모리(HBM)입니.. 공감수 4 댓글수 0 2021. 7. 21.
자연어 처리(NLP)란 무엇이며 누가 주도하는가? 요즘 인공지능/딥러닝 연구 중 가장 뜨거운 분야는 자연어처리(NLP)입니다. 그래서 이번 글에서는 자연어 처리가 왜 주목받고 있으며 자연어 처리의 연구 및 서비스 제공은 누가 주도하고 있는지에 대해 알아봅니다. 자연어 처리(NLP)란? 자연어 처리(natural language processing)란 인간이 사용하는 언어에 대한 이해 및 이를 바탕으로 한 다양한 인공 지능의 활동을 가리킵니다. 우선 "자연어"라는 말이 어색할 수 있는데 "기계어"에 반대되는 말로 해석하면 이해가 쉽습니다. 지금까지 컴퓨터는 사람이 작성한 Code를 컴파일러를 통해 기계어로 변환한 다음 이를 바탕으로 연산을 수행했습니다. 하지만 사람이 자연어를 Code로 바꾸고 다시 이것을 기계어로 변환해온 기존 프로세스와 달리 이제부터는.. 공감수 2 댓글수 0 2021. 7. 17.
Processing in memory(PIM)이란? (2) - Concept 및 사례 PIM의 개념에 대해 설명한 이전글(Processing in memory(PIM)이란? (1) - 개념 및 정의)에 이어 PIM의 사용 방법을 개념적으로 제시한 Google 및 Facebook의 논문과 HBM을 활용해 PIM을 구현한 삼성의 사례를 통해 기업들은 PIM을 어떻게 실제로 구현하고 활용하려 하는지 알아보겠습니다. Google - Consumer 기기의 에너지 사용 절감 Google은 2018년 발표한 논문[1]에서 스마트폰, 크롬북 등 컨슈머 기기에 PIM을 도입함으로써 메모리와 프로세서 사이의 데이터 이동을 줄이고 이를 통해 에너지 사용 및 Power를 절감함으로써 베터리 사용 기간 증가와 Thermal throtlling 감소를 이룰 수 있는 방법을 제시했습니다. Google이 말한 PI.. 공감수 8 댓글수 1 2021. 5. 29.
Embedding table이란? (딥러닝 추천모델에서의) Facebook이 제안한 PIM 관련해 Embedding table에 대한 설명이 필요해서 이 글을 작성하게 되었습니다. PIM 글 내에서 다루려 했는데 내용이 길어질 것 같아 여기에 정리합니다. Embedding table이란? Embedding table는 Categorical data를 Numerical data로 변환하며 이를 통해 Sparse matrix가 Dense matrix로 바뀌어 연산의 효율성을 높일 수 있습니다. 위 문장만 보면 한글로 써있지만 무슨 말인지 해석인 안될 수 있을텐데 이제 차근차근 설명하겠습니다. Categorical data vs. Numerical data Categorical data는 수치로 표현할 수 없는, Matrix로 표현할 때 각 속성을 하나의 고유한 Ca.. 공감수 1 댓글수 1 2021. 5. 29.
Self-supervised learning (자기지도 학습) 이란? 요즘 Deep learning에서 주목받고 있는 학습법인 Self-supervised learning을 소개할까 합니다. 이번 글에서는 Self-supervised learning에 대한 간단한 소개 이후 왜 이 학습법이 주목받는지, Self-supervised learning 향후 데이터 센터를 중심으로 한 Deep learning (AI) 생태계에 어떠한 영향을 미칠지에 대해 이야기해보겠습니다. 자세한 Self-supervised learning의 학습 방법은 영상을 중심으로 여기 블로그(hoya012.github.io/blog/Self-Supervised-Learning-Overview/)에 잘 정리되어 있기 때문에 참고하시면 될 것 같습니다. Self-supervised learning이란? Se.. 공감수 4 댓글수 0 2021. 4. 17.
애플의 첫 Mac 탑재 자체 개발 SoC: M1의 과거와 현재 그리고 미래 드디어 애플에서 자체 개발한 SoC를 탑재한 맥북을 발표했습니다. 자체 개발한 M1칩이 처음으로 들어갈 제품은 맥북 에어, 맥북 프로 13인치, 맥 미니입니다. M1의 과거: iPad Pro의 A12Z/X M1의 애플 발표 내용을 자세히 살펴보면 기존 iPad Pro에 들어갔던 A12X/Z를 기반으로 성능향상이 이뤄진 것이 아닌가 하고 추측이 됩니다. A12X는 2018년 출시된 iPad Pro에 처음 선보였으며, 동일 패키지에 성능개선만 이뤄진 A12Z는 2020년 iPad Pro에 들어가 있습니다. 우선 아래 그림의 외관을 보시면, 애플의 SoC에 2개의 DRAM이 부착된 동일한 패키지 형태임을 확인할 수 있습니다. 성능이 구분되는 각각 4개의 CPU core (총 8개 Core), 8개의 GPU c.. 공감수 0 댓글수 0 2020. 11. 14.
Processing in Memory (PIM)이란? (1) - 개념과 분류 얼마 전 과학기술정보통신부와 산업통상자원부는 "AI 반도체 선도국가 도약으로 AI·종합반도체 강국 실현" 달성을 위한 전략과 실행 과제를 밝혔는데 여기서 3대 과제 중 하나로 PIM(processing in memory)가 등장합니다. 대한민국의 AI 반도체 경쟁우위 확보를 위해 PIM의 개발이 중요하며 이에 필요한 인력 교육, 연구 개발에 정부가 지원하겠다는 내용입니다. 미래에 AI가 중요하며 경쟁력 확보를 위한 정부의 지원은 이해가 가는데 PIM은 생소한 분들이 많을 겁니다. 이 글에서는 PIM의 개념을 설명하고 AI 시대에 PIM이 왜 중요한지, 정부가 왜 PIM을 육성하려고 하는지 설명하겠습니다. PIM (processing in memory) 이란? PIM은 단어 그대로 메모리에서 연산이 이뤄짐.. 공감수 19 댓글수 5 2020. 10. 24.
Device 관점에서 본 5G와 AR/VR 많은 통신사에서 5G 서비스를 제공하며 5G가 많이 보급되고 있습니다. 5G 인프라가 모든 지역을 커버하지는 못해서 실제 고객이 느끼는 통신 속도는 4G와 같다는 불만이 많이 나오고 있기는 하지만요. 5G가 보급되는 가운데 함께 등장하는 단어가 AR/VR입니다. 각 통신사의 5G 서비스 활용 시나리오 중 AR/VR이 항상 함께 등장하죠. 이번 글에서는 AR, VR이 무엇이며 왜 5G와 함께 등장하는지 이유를 살펴보겠습니다. AR/VR/MR/XR? 우선 AR, VR, MR, XR 비슷해보이는 용어들 정리부터 하죠. AR(augmented reality)는 한국말로는 증강현실입니다. 구체적으로는 현실 화면에 가상의 물체를 디스플레이하는 방식이지요. VR(virtual reality)는 가상현실이라는 말에서 .. 공감수 0 댓글수 0 2020. 10. 16.
미 의회 GAFA 보고서 - 플랫폼 제공자에 대한 반독점 규제 얼마전 미국 하원 독점 소위는 GAFA(Google, Apple, Facebook, Amazon)의 독점적 지위의 남용을 지적하는 보고서를 내놓았습니다. 여기에는 독점적 지위 남용을 막기 위한 법률 개정 및 행정적 감시의 변활를 요구하는 내용도 포함되었죠. 근데 GAFA 구성원을 살펴보면 코로나로 인한 언텍트 시대에서 미 증시 활황을 주도한 FAANG와 동일하다는 것을 확인할 수 있습니다. Nvidia만 제외하면요. GAFA의 특징은 서로 다른 성격을 가진 양쪽을 이어주는 플랫폼 (Two-sided platform) 제공자라는 것이지요. Google과 Facebook은 광고주와 서비스 이용자를, Apple은 App 개발자와 App 구매자를, Amazon은 다양한 제품 판매자와 구매자를 연결시켜줍니다. N.. 공감수 0 댓글수 0 2020. 10. 10.
Nvidia의 ARM 인수 - Inference Line 강화 목적? 엔비디아가 ARM을 인수한다고 발표한지 시간이 좀 지났네요. 많은 나라의 허가를 받아야 실제 인수가 이뤄지겠지요. 중국에서 제재에 대한 대응으로 인수를 불허할 것이라는 기사도 나오고 있는데 진짜 인수가 완료될지는 지켜봐야겠습니다. 브로드컴의 퀄컴 인수가 미국 트럼프 대통령의 반대로 무산된 사례와 같이 각국 정부의 허가가 필요한 상황이라서요. 그렇다면 엔비디아는 왜 ARM을 인수했을까요? 47조나 되는 돈을 들여 기업을 인수할 때는 한 가지 목적이 아닌 복합적인 이유가 있을 것이라 생각합니다. 이 글에서는 그 이유 중 한 가지로 엔비디아의 Inference 제품군 강화라 추정합니다. 딥러닝 시대에서 엔비디아의 성장과 한계 이전글(왜 GPU는 AI 시대에 중요해졌는가?)에서도 말했듯이 엔비디아가 지금과 같이.. 공감수 0 댓글수 0 2020. 10. 7.
딥러닝 학습/추론과 이에 따른 하드웨어 차이 비교 딥러닝 학습은 축적된 데이터를 바탕으로 신경망 내의 정보 전달 관련 Weight를 Update하여 딥러닝 모델을 만드는 과정이며, 추론은 만들어진 모델을 활용해 주어진 Input에 대한 해석 결과를 내놓는 단계입니다. 두 단계의 선후관계를 따져본다면 딥러닝 모델을 학습한 후 추론을 하게 되죠. 좀 더 자세히 살펴보면 학습은 Forward propagation과 Backward propagation을 무수히 많이 반복하며 추론은 Forward propagation을 한 번 수행한 후 종료됩니다. 딥러닝 추론이란? 그럼 좀 더 간단한 추론과 Forward propagation을 살펴보겠습니다. 이 글에서는 영상인식에 주로 활용되는 CNN 알고리즘을 예로 들어보죠. 영상인식의 입력(Input)은 사진입니다. .. 공감수 9 댓글수 1 2020. 7. 23.
파괴적 혁신 관점에서 본 ARM PC Intel을 위협하는 Apple의 Arm기반 CPU 등장 파괴적 혁신이란 낮은 기능과 저렴한 가격으로 등장한 기술(제품)이 점차 성능을 향상하여 주요 시장까지 차지하는 움직임을 말하며 이번 Arm Mac 등장은 ARM ISA가 기존의 X86 ISA를 파괴적으로 혁신하는 움직임으로 볼 수 있습니다. 파괴적 혁신의 예를 살펴보면 파괴적 혁신을 더 잘 이해할 수 있을텐데요. MIT 크리스텐센 교수가 쓴 파괴적 혁신 책에서 등장하는 사례로는 플로피 디스크가 있습니다. 1980년대 미니컴퓨터 제조사들의 표준이 8인치 디스크인 상황에서 5.25인치 드라이브가 등장했죠. 8인치 디스크는 용량, 엑세스 타임 등에서 뛰어난 반면 5.25인치는 작고 가벼우며 저렴한 장점이 있었습니다. 5.25인치 드라이브는 저가 시장에 .. 공감수 0 댓글수 0 2020. 7. 8.
딥러닝 ASIC 가속기(Accelerator)란? 딥러닝 가속기(Accelerator)란 AI 연산 장치이며, GPU, FPGA, ASIC으로 구분됩니다. Accelerator는 컴퓨터 시스템에서 주연산장치인 CPU를 보완하는 보조 연산장치를 의미하는데 대표적으로 GPU가 있습니다. CPU만으로는 고사양 그래픽 처리를 담당하기에 한계가 있어 GPU가 그래픽 Accelerator로 등장했죠. 지난 게시글 (왜 GPU는 AI 시대에 중요해졌는가?)에서도 설명되었지만 그래픽처리와 딥러닝은 병렬 단순 연산(곱셈, 덧셈 위주) 처리가 주를 이룬다는 공통점이 있습니다. 따라서 딥러닝 Accelerator로 GPU가 많이 활용되고 있죠. FPGA(fileld programmable gate array)는 이름에서 볼 수 있듯이 프로그램 가능한 Chip입니다. 빠르게.. 공감수 8 댓글수 0 2020. 7. 3.
컴퓨터 내 DRAM의 역할과 흐름 DRAM은 무엇일까요? DRAM은 컴퓨터 프로세서가 필요로 하는 데이터를 저장한 후 공급하는 역할을 하고 있습니다. 현대 컴퓨터 프로세서는 모두 Von-Neumann 구조를 따르죠. Von-Neumann 구조에서 프로세서는 연산을 처리하기 위한 필요한 명령어(instruction)와 연산자(operand)를 모두 메모리에서 가져와야 합니다. 예를 들어 2+3이라는 연산을 수행하기 위해서는 더하기(+)라는 명령어와 “2”,”3”이라는 연산자가 필요하죠. 아무리 성능이 좋은 프로세서라 하더라도 DRAM을 포함한 메모리로부터 적절히 데이터를 공급받지 못하면 그 성능을 충분히 발휘하지 못합니다. 좀 더 자세히 살펴보면 DRAM은 컴퓨터 시스템 내 다양한 메모리 중에서 SRAM의 부족한 용량과 SSD의 느린 속도.. 공감수 0 댓글수 0 2020. 6. 26.
왜 GPU는 AI 시대에 중요해졌는가? AI 시대에 더불어 주가가 크게 오른 기업 중 하나는 엔비디아(nVIDIA)입니다. 물론 코로나 사태를 겪으며 언택트(Untact) 산업의 중심인 IT 관련주들이 오르기는 했지만 엔비디아의 주가 상승세는 경이적이죠. 그렇다면 엔비디아의 주가는 왜 이렇게 많이 상승했을까요? 엔비디아의 주력 상품인 GPU와 AI 시대의 등장을 통해 해답을 찾고자 합니다. 엔비디아의 매출 중 상당 부분을 차지하는 GPU는 무엇일까요? GPU(graphic processing unit)은 말 그대로 게임, 동영상 편집 등 그래픽 연산에 특화된 프로세서입니다. 범용 프로세서의 성격을 갖는 CPU의 한계를 보완하기 위해 등장한 프로세서이지요. 그래픽 처리는 일반적으로 화면을 구성하는 많은 수의 픽셀의 색상(깊이)를 계산합니다. 예.. 공감수 2 댓글수 0 2020. 6. 20.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.