NVIDIA英偉達A100與A800人工智能服務器GPU算力租賃
nvidia英偉達a100人工智能服務器在各種規模上實現出色的加速
適用于各種工作負載的強大計算平臺
nvidia a100 tensor core gpu 可在各個規模下為 ai、數據分析和高性能計算（ hpc） 應用提供出色的加速性能，為全球的 高性能彈性數據中心提供強勁助力。作為 nvidia 數據中心平臺的引擎，與前一代 nvidia volta™ 相比，a100 可使性能提升高達 20 倍。a100 可高效擴展，也可借助多實例 gpu（ mig） 技術劃分 為 7 個獨立的 gpu 實例，從而提供統一的平臺，助力彈性數據中心根據不斷變化的工作負載需求動態進行調整。
nvidia a100 tensor core 技術支持廣泛的數學精度，可針對每個工作負載提供單個加速器。*新一代 a100 80gb 將 gpu 顯存 加倍，提供 2tb/s 的全球超快顯存帶寬，可加速處理超大型模型和海量數據集。
a100 是完整 nvidia 數據中心解決方案的一部分，該解決方案由硬件、網絡、軟件、庫以及 ngc™ 目錄中經優化的 ai 模型和 應用等疊加而成。作為適用于數據中心且功能強大的端到端 ai 和 hpc 平臺，a100 可助力研究人員獲得真實的結果，并能將解決方案大規模部署到生產環境中。
nvidia英偉達a100與a800人工智能服務器gpu算力租賃產品規格
項目
標準配置
擴展配置
1
準系統
雙路4u機架式
2
處理器
英特爾 xeon ® gold 6330 處理器
28核/基頻2ghz/最高3.1ghz/42mb緩存
英特爾 xeon® platinum 8380 處理器
40核/基頻2.3ghz/最高3.4ghz/60mb緩存
3
內存
ddr4/rdimm/3200mhz/64gb，總容量1tb
最大內存容量4tb
4
芯片組
intel® c621a
5
gpu
8張a100 或a800 80gb pcie顯卡
8張雙寬或16張單寬pcie nvidia gpu卡
6
網絡通信
以太網卡，2路10g電口
7
infiniband（ib）網卡，2路200g qsfp56口
8
硬盤
系統盤，m.2 sata ssd，容量1tb
前面板支持24塊2.5或12塊3.5寸 sas/sata硬盤
主板支持2塊m.2 sata ssd
9
數據盤，4tb*4/sata，總容量16tb
10
電源
單模組2000w，2+2冗余配置
單模組3kw，總計12kw
9
外形尺寸
寬度480mm，高度180mm，深度830mm
10
工作溫度
5~35℃
11
重量
80kg
nvidia a100 tensor core gpu 規格 （sxm4 和 pcie 外形規格）
a100 80gb pcie
a100 80gb sxm
fp64
9.7 tflops
fp64 tensor core
19.5 tflops
fp32
19.5 tflops
tensor float 32 （tf32）
156 tflops | 312 tflops*
bfloat16 tensor core
312 tflops | 624 tflops*
fp16 tensor core
312 tflops | 624 tflops*
int8 tensor core
624 tops| 1248 tops*
gpu 顯存
80gb hbm2e
80gb hbm2e
gpu 顯存帶寬
1935gb/s
2039gb/s
*大熱設計功耗 （tdp）
300 瓦
400 瓦***
多實例 gpu
*多 7 個 mig 每個 10gb
*多 7 個 mig 每個 10gb
外形規格
pcie 雙插槽風冷式或單插槽液冷式
sxm
互連技術
搭載 2 個 gpu 的 nvidia® nvlink® 橋接器：600gb/s**
pcie 4.0 ：64gb/s
nvlink ：600gb/s
pcie 4.0 ：64gb/s
服務器選項
搭載 1 至 8 個 gpu 的合作伙伴認證系統和 nvidia 認證系統（ nvidia-certified systems™）
搭載 4 個、8 個或 16 個 gpu 的 nvidia hgx™ a100 合作伙伴認證系統和 nvidia 認證系統
搭載 8 個 gpu 的 nvidia dgx™ a100
* 采用稀疏技術
** sxm4 gpu 通過 hgx a100 服務器主板連接；pcie gpu 通過 nvlink 橋接器可橋接多達兩個 gpu
*** 400 瓦 tdp（適用于標準配置）。hgx a100-80 gb 自定義散熱解決方案（ cts） sku 可 支持高達 500 瓦的 tdp
跨工作負載的**性能
針對大型模型提供高達 3 倍的 ai 訓練速度；
相較于 cpu 提供高達 249 倍的 ai 推理性能；
相較于 a100 40gb 提供高達 1.25 倍的 ai 推理性能；
為 hpc 應用提供高達 1.8 倍的性能；
四年來 hpc 性能提升 11 倍；
相較于 a100 40gb，在大數據分析基準測試中速度提升 2 倍；
突破性的創新
nvidia ampere 架構：無論是使用 mig 將 a100 gpu 分割為較小的實例，還是使用 nvlink 連接多個 gpu 來加速 大規模工作負載，a100 均可輕松滿足不同規模的加速需求，從小型作業到大型多節點工作負載無一例外。a100 功能全面，這意味著 it 經理可以全天候地充分利用數據中心內的每個 gpu。
第三代 tensor core 技術：nvidia a100 的深度學習 運算性能可達 312 teraflops （tflops）。其深度學習訓練的 tensor 每秒浮點運算次數（ flops） 和推理 的 tensor 每秒萬億次運算次數（ tops） 皆為 nvidia volta™ gpu 的 20 倍。
新一代 nvlink：a100 中采用的 nvidia nvlink 可提供兩倍于上一代的吞吐量。與 nvidia nvswitch™ 結合使用時，此技術可將多達 16 個 a100 gpu 互連，并將速度提升至 600gb/s，從而在單個服務器上實現出色的應用性能。nvlink 技術可應用在 a100 中：sxm gpu 通過 hgx a100 服務器主板連接，pcie gpu 通過 nvlink 橋接器可橋接多達兩塊 gpu。
多實例 gpu（ mig） 技術：一個 a100 gpu *多可劃分為 7 個 gpu 實例，這些實例在硬件級別完全獨立，并獨自擁有高 帶寬顯存、緩存和計算核心。借助 mig， ***可為其所有應用實現驚人加速，it 管理員也可為每個作業提供符合其規模的 gpu 加速，進而優化 gpu 利用率，并讓每個用戶和 應用都能使用 gpu 實例。
高帶寬顯存（ hbm2e）：憑借 80gb 的高帶寬顯存（hbm2e），a100 提供超過 2tb/s 的超快 gpu 顯存帶寬， 并將動態隨機存取存儲器（ dram） 的利用效率 提高至 95%。a100 提供的顯存帶寬是上一代 產品的 1.7 倍。
結構化稀疏：ai 網絡擁有數百萬至數十億個 參數。實現準確預測并非要使用所有參數，而且我們還可將某些參數轉換為零，以在無損準確性的前提下使 模型變得“稀疏”。a100 中的 tensor core 可為稀疏模型提供高達 2 倍的性能提升。稀疏功能不僅更容易使 ai 推理受益，同時還能提升 模型的訓練性能。
nvidia英偉達a100人工智能服務器gpu 是 nvidia 數據中心平臺的旗艦產品，可用于深度學習、高性能計算 （hpc） 和數據分析。該平臺可為 2000 余款應用和各大深度學習框架提供加速。a100 適用于桌面、服務器以及云服務，不僅能顯著提升性能，更可以節約成本。
