8.30 엔비디아 관련
컨텐츠 정보
- 309 조회
- 0 추천
- 목록
본문
#엔비디아 #제품라인업
엔비디아 제품 라인업도 정리해봤습니다. 기대가 되는 점은 그레이스하퍼200 칩을 대량으로 사용한 DGX GH200 Server용 슈퍼컴퓨터입니다. 대략적으로 계산해보면 HBM3 or HBM3E 제품이 36,096GB 정도 사용됩니다.
(볼드처리 = HBM 사용 GPU)
* NVIDIA
2Q20~ (훈련/추론) A100 GPU(7nm, 80GB HBM2e, 2GB 8-Hi stacked 16GB 6ea)
2Q20~ (훈련/추론) A800 GPU(7nm, 40GB HBM2e, ?) [중국 수출 전용 제품, A100 다운그레이드]
4Q20~ A40 GPU(?, 48GB GDDR6)
2Q21~ (훈련/추론) A30 GPU(?, 24GB HBM2)
2H21~ A16 GPU(?, 16GB GDDR6, max 4ea)
2Q21~ A10 GPU(?, 24GB GDDR6)
4Q21~ A2 GPU(?, 16GB GDDR6)
4Q22~ L40 GPU(?, 48G DDR6 with ECC)
3Q23~4Q23~ L40S GPU(?, 48GB GDDR6 with ECC)
1Q23~ (추론) L4 GPU(?, 24GB)
4Q22~ (훈련/추론) H100 GPU(4nm, 80GB HBM3, 2GB 8-Hi stacked 16GB 6ea)
2Q23~ (훈련/추론) H800 GPU(4nm, 40GB HBM3, 2GB 8-Hi stacked 16GB 6ea)
2Q24~ (훈련/추론) GH200(CPU+GPU) GPU(4nm, 141GB HBM3e, ?)
4Q23~ (훈련/추론) DGX GH200 Server용 (GH200 256ea(36,096GB HBM3 or etc) + 1ExaFLOPS Transformer Engine + 144 TB GPU Memory)
* GH200 / H100 GPU 만든 후 본인들이 제작한 CPU Grace랑 GPU Hopper랑 섞은 제품
* H100만 사용하면 각각 계산할 내용을 다 뿌려줘야 함
* GH200을 사용하면 2.5D 구조로 CPU와 GPU 합쳐져 있으니, 병목도 없어지고 하나의 시스템으로 계산 -> 거대 LLM 활용 시 효율적
* 이러한 GH200을 서버용 제품으로 만든 제품이 DGX GH200 Server
* x86 프로세서로 진행하면 AI로 각각 잘개 쪼개서 처리하던 부분을, CPU와 GPU 한꺼번에 처리
* GH에 NVLink 지원하게 되면서 병렬/단일코딩, GPU끼리 초당 900GB
관련자료
-
이전
-
다음