GPU 資源

高效的 GPU 使用對於成本效益至關重要。GenAI Studio 提供以下 GPU 資源管理模式：

1. 無規則 (As-Is) 模式
   系統不對 GPU 資源進行任何限制。在此模式下，GPU 的資源通常會是先搶先贏。

2. 訓練專用模式
   系統會限制 GPU 資源只能使用在模型訓練或相關流程的工作中(如驗證、量化等)。如果模型訓練的流程需耗時超過 12 小時以上， 建議在模型訓練之前切換至此模式，以避免訓練流程在產生結果之前被強迫中斷。

3. 時段控制模式
   系統會根據所排定的時段來控制 GPU 資源可使用在聊天相關的功能、或是模型訓練相關的功能。請按照組織自身的需求， 調整相關的設定來控制 GPU 資源在那些時段是用來執行聊天相關的功能；設定之外的時段則用來執行模型訓練相關功能。

注意

一旦時間進入聊天相關功能的時段之後，系統會強制中斷仍在執行中的模型訓練相關工作。