8.30 엔비디아 관련

#엔비디아 #제품라인업

엔비디아 제품 라인업도 정리해봤습니다. 기대가 되는 점은 그레이스하퍼200 칩을 대량으로 사용한 DGX GH200 Server용 슈퍼컴퓨터입니다. 대략적으로 계산해보면 HBM3 or HBM3E 제품이 36,096GB 정도 사용됩니다. 

(볼드처리 = HBM 사용 GPU)

* NVIDIA                        

2Q20~ (훈련/추론) A100 GPU(7nm, 80GB HBM2e, 2GB 8-Hi stacked 16GB 6ea)                        

2Q20~ (훈련/추론) A800 GPU(7nm, 40GB HBM2e, ?) [중국 수출 전용 제품, A100 다운그레이드]                       

4Q20~ A40 GPU(?, 48GB GDDR6)                        

2Q21~ (훈련/추론) A30 GPU(?, 24GB HBM2)                       

2H21~ A16 GPU(?, 16GB GDDR6, max 4ea)                        

2Q21~ A10 GPU(?, 24GB GDDR6)                        

4Q21~ A2 GPU(?, 16GB GDDR6)                        

4Q22~ L40 GPU(?, 48G DDR6 with ECC)                        

3Q23~4Q23~ L40S GPU(?, 48GB GDDR6 with ECC)                        

1Q23~ (추론) L4 GPU(?, 24GB)                        

4Q22~ (훈련/추론) H100 GPU(4nm, 80GB HBM3, 2GB 8-Hi stacked 16GB 6ea)                       

2Q23~ (훈련/추론) H800 GPU(4nm, 40GB HBM3, 2GB 8-Hi stacked 16GB 6ea)                       

2Q24~ (훈련/추론) GH200(CPU+GPU) GPU(4nm, 141GB HBM3e, ?)                       

4Q23~ (훈련/추론) DGX GH200 Server용 (GH200 256ea(36,096GB HBM3 or etc) + 1ExaFLOPS Transformer Engine + 144 TB GPU Memory)                       

* GH200 / H100 GPU 만든 후 본인들이 제작한 CPU Grace랑 GPU Hopper랑 섞은 제품                        

* H100만 사용하면 각각 계산할 내용을 다 뿌려줘야 함        

* GH200을 사용하면 2.5D 구조로 CPU와 GPU 합쳐져 있으니, 병목도 없어지고 하나의 시스템으로 계산 -> 거대 LLM 활용 시 효율적                        

* 이러한 GH200을 서버용 제품으로 만든 제품이 DGX GH200 Server                

* x86 프로세서로 진행하면 AI로 각각 잘개 쪼개서 처리하던 부분을, CPU와 GPU 한꺼번에 처리                        

* GH에 NVLink 지원하게 되면서 병렬/단일코딩, GPU끼리 초당 900GB