模型管理

概覽

此介面提供一套工具來幫助用戶管理、驗證和轉換模型，以便在各種平台上部署。

主要功能

此介面包含以下主要功能：

• 基礎模型管理： 管理系統支援的預訓練模型。這包括下載和組織模型的能力。

• 驗證： 提供一種簡單的方式來驗證模型是否正確運行並產生可靠和準確的結果。這對於確保模型在部署前能如預期運作是至關重要的。

• 資料集： 幫助使用者對模型訓練所需之資料集進行管理，除了可上傳自行準備的資料集檔案，亦可提供原始文件讓系統自動產生。

• GGUF 轉換： 標準 GGUF 模型轉換，可將基礎模型或微調過的模型根據需求進行量化轉換，使模型能夠在其他平台上使用， 如 NVIDIA Jetson、AMD、Intel 或 Qualcomm。此功能有助於將模型部署到不同的硬體環境。

  訊息

  目前 GenAI Studio 除了提供標準 GGUF 轉換功能之外，亦根據不同平台與需求提供了其它四種轉換功能：

  • MLC 轉換： 將模型轉換為 MLC 平台可執行的檔案，請參考 MLC 的相關說明。
  • OpenVINO 轉換： 將模型轉換為 Intel OpenVINO 平台專用的模型檔，請參考 OpenVINO 相關說明。
  • TensorRT 轉換： 將模型轉換為 NVIDIA TensorRT 平台專用的模型檔，請參考 TensorRT 相關說明。
  • GGUF Q4Q2 轉換： 研華獨家創新技術，以 GGUF 為基礎將模型轉換為 GGUF 格式並以 Q4Q2 進行量化，有效節省硬碟用量及 vRAM 的使用率。

  以上這些轉換功能並未包含在標準的預設安裝內，需另外進行安裝。

使用方式

用戶可以利用這些功能來有效的管理模型：

• 使用「基礎模型管理」來組織和維護預訓練模型庫。
• 使用「驗證」來確保模型的準確性和可靠性。
• 使用「資料集」來管理或自動產生模型訓練所需之資料。
• 使用「GGUF 轉換」將模型部署到各種目標平台。