必要條件
硬體需求
Advantech AIR-520
由 AMD EPYC 7003 系列處理器提供動力的 4U Edge AI 伺服器，提供高達 64 核心、768GB DRAM、四個 PCIe x16 擴展插槽。
- 由 AMD EPYC 7003 處理器提供動力的伺服器級性能
- 高達 768GB DDR4 3200 DRAM
- 四個 PCIe x16 擴展插槽
- 整合 1200W 電源供應器，總計 700W 顯示卡 TDP
支援的 NVIDIA GPU
| 產品名稱 | 匯流排 | 記憶體 |
|---|---|---|
| H100 | PCIe 4.0 x16 | 80GB, HBM2e, 5120bit |
| RTX A6000 | PCIe 4.0 x16 | 48 GB, GDDR6, 384 bit |
| RTX A5000 | PCIe 4.0 x16 | 24 GB, GDDR6, 384 bit |
| GeForce RTX 4090 (有尺寸限制) | PCIe 4.0 x16 | 24 GB, GDDR6X, 384 bit |
| L40 | PCIe 4.0 x16 | 48 GB, GDDR6, 384 bit |
| L40S | PCIe 4.0 x16 | 48 GB, GDDR6, 384 bit |
| RTX 6000 Ada Generation | PCIe 4.0 x16 | 48 GB, GDDR6, 384 bit |
| GeForce RTX 4090 D (有尺寸限制) | PCIe 4.0 x16 | 24 GB, GDDR6X, 384 bit |
| RTX 4000 Ada Generation | PCIe 4.0 x16 | 20 GB, GDDR6, 160 bit |
| RTX 4000 SFF Ada Generation | PCIe 4.0 x16 | 20 GB, GDDR6, 160 bit |
| RTX 5000 Ada Generation | PCIe 4.0 x16 | 32 GB, GDDR6, 256 bit |
SQ Flash AI SSD (M.2)
- SQ Flash AI SSD (M.2), 4T
- SQ Flash AI SSD (M.2), 1T
- SQ Flash AI SSD (M.2), 2T
基於不同模型大小的系統配置建議（全參數）
| 模型大小 | AI100E (NVMe Gen4 x 4) | GPU（參考） | 系統記憶體 |
|---|---|---|---|
| 高達 34B | 1TB * 2 | RTX 4000 Ada x2 RTX 5000 Ada x2 RTX 6000 Ada x2 | 128GB |
| 高達 70B | 2TB * 2 | RTX 4000 Ada x4 RTX 5000 Ada x4 RTX 6000 Ada x4 | 128GB |
硬碟
- 4TB 或 8TB SSD 用於安裝和模型訓練
系統需求
- Ubuntu 22.04：
- Ubuntu 22.04.3 和 22.04.4 版本已成功測試。一般來說，任何 22.04.X 版本（其中 X 為 3 或更高）都應該正常運作。建議使用桌面版
- GPU 驅動程式：
- NVIDIA 驅動程式版本 550 安裝。
危險
固定 GPU 驅動程式版本至關重要。避免安裝較新版本，因為這可能會導致微調任務失敗
- 安裝程式大小 (.run)：
- ~ 45G
- 應用程式佔用空間：
- 60G ~ 70G
訊息
GenAI Studio 安裝檔案約 45GB。為確保系統順利安裝，我們建議至少有 100GB 的可用磁碟空間。