跳至主要内容
版本：1.2.0

版本 1.0

GenAI Studio 版本 1.0 系列已經發行：

  • 初始版 v1.0.0 於 2024/12/26 發行。
  • 無任何修訂版。

新功能​

此更新引入了在 Anything LLM 基礎上對 LLM 模型進行 全參數微調 的能力。主要功能包括：

此系統專為 NVIDIA GPU 設計以提供這些功能。

模型下載​

GenAI Studio 促進從 Hugging Face 無縫下載 LLM 模型，支援的模型直接顯示在用戶介面中。要下載模型，您需要一個 用戶存取權杖。 有關更多詳細資訊，請參閱 Hugging Face 文件。

注意

某些模型，如 LLAMA，在下載前需要用戶同意分享聯絡資訊。

資料集生成​

使用 GenAI Studio 簡化了為領域特定訓練創建資料集的過程。上傳您的領域檔案（例如 PDF、Word 文件），系統將根據您的輸入生成資料集。功能包括：

  • 線上可編輯資料集。
  • 能夠合併來自多個文件的資料集。
  • 可配置的檔案大小限制（預設：10 MB）。
訊息

檔案大小限制設定為 10 MB，但如果需要，可以在系統設定中調整。

資料集生成

模型微調（全參數）​

任務導向方法​

微調透過任務導向系統管理，允許為不同領域建立專用任務。用戶可以：

  • 選擇特定模型、參數和資料集。
  • 為其需求自定義訓練過程。

任務導向方法

微調過程​

全參數微調過程利用 GPU 資源並提供即時日誌。重要考量：

  • 損失率：訓練期間監控的主要指標，理想情況下應隨每個訓練週期減少。
  • 過擬合：避免過多的訓練週期以防止過擬合。

微調過程

微調歷史​

維護先前訓練會話的記錄，包括參數和配置，以協助用戶完善未來的訓練努力。

模型驗證​

比較原始模型與微調版本以評估訓練的效果。這確保所需知識成功整合。

模型驗證

GPU 資源管理​

高效的 GPU 使用對成本效益至關重要。GenAI Studio 提供以下 GPU 資源管理模式：

  1. 無規則模式
    系統不對 GPU 資源施加任何限制。在此模式下，GPU 資源通常按先到先得的基礎分配。

  2. 訓練專用模式
    系統限制 GPU 資源僅用於模型訓練或相關過程（如驗證、量化等）。如果模型訓練過程預計超過 12 小時，建議在開始訓練前切換到此模式， 以避免在產生結果前訓練過程被強制中斷。

  3. 時間段模式
    系統根據排程的時間段控制 GPU 資源，允許它們用於聊天相關功能或模型訓練相關功能。請根據組織需求調整以下設定，以控制哪些時間段 GPU 資源用於聊天相關功能。這些設定之外的時間段用於模型訓練相關功能。

危險

注意：當時間進入聊天相關功能時間段時，系統將強制中斷任何正在進行的模型訓練相關工作。

排程和微調​

為優化 GPU 利用率，訓練任務可以在非高峰時段安排，如晚上或週末。

第三方套件更新​

  • Anything LLM (v1.2.4)
  • Ollama (v0.5.1)
  • Qdrant (v1.12.4)
  • PostgreSQL (v16.4)

Phison 中間件驅動程式​

  • aiDAPTIVLink 版本：NXUN201.00