将模型转换为 ONNX 格式

AI 工具包支持 Open Neural Network Exchange (ONNX) 格式，用于在本地运行模型。ONNX 是一个开放标准，用于表示机器学习模型，它定义了一组通用的运算符和文件格式，使模型能够在各种硬件平台上运行。

要在 AI 工具包中使用来自其他目录（如 Azure AI Foundry 或 Hugging Face）的模型，必须首先将它们转换为 ONNX 格式。

本教程将指导您如何将 Hugging Face 模型转换为 ONNX 格式并加载到 AI 工具包中。

设置环境

要从 Hugging Face 或 Azure AI Foundry 转换模型，您需要 Model Builder 工具。

请按照以下步骤设置您的环境

1. 确保您的设备上安装了 Anaconda 或 Miniconda。

2. 为 Model Builder 创建一个专用 conda 环境并安装必要的依赖项（onnx、torch、onnxruntime_genai 和 transformers）

   conda create -n model_builder python==3.11 -y
   conda activate model_builder
   pip install onnx torch onnxruntime_genai==0.6.0 transformers
   

   注意：对于某些较新的模型，例如 Phi-4-mini，您可能需要直接从 GitHub 安装最新开发版本的 transformers

   pip install git+https://github.com/huggingface/transformers
   

访问 Hugging Face 模型

有多种方法可以访问 Hugging Face 模型。在本教程中，我们以 huggingface_hub CLI 为例，演示如何管理模型仓库。

注意：在继续之前，请确保您的 Python 环境已正确设置。

要从 Hugging Face 下载模型

1. 安装 CLI:

   pip install -U "huggingface_hub[cli]"
   

2. 下载模型仓库.

3. 下载的仓库中的所有文件都将在转换过程中使用。

创建目录结构

AI 工具包从其工作目录加载 ONNX 模型

• Windows：%USERPROFILE%\.aitk\models
• 类 Unix 系统 (macOS)：$HOME/.aitk/models

为确保模型正确加载，请在 AI 工具包的工作目录中创建所需的四层目录结构。例如：

mkdir C:\Users\Administrator\.aitk\models\microsoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32

在此示例中，四层目录结构为 microsoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32。

将模型转换为 ONNX 格式

运行以下命令将您的模型转换为 ONNX 格式

python -m onnxruntime_genai.models.builder -m $modelPath -p $precision -e $executionProvider -o $outputModelPath -c $cachePath --extra_options include_prompt_templates=1

以下是将模型转换为 ONNX 格式的完整示例命令

python -m onnxruntime_genai.models.builder -m C:\hfmodel\phi3 -p fp16 -e cpu -o C:\Users\Administrator\.aitk\models\microsoft\Phi-3-mini-4k-instruct\cpu\phi3-cpu-int4-rtn-block-32-acc-level-4 -c C:\temp --extra_options include_prompt_templates=1

有关精度和执行提供程序的更多详细信息，请参阅这些教程

• 精度基础知识
• 执行提供程序基础知识

将模型加载到 AI 工具包中

转换完成后，将您的 ONNX 模型文件移动到新创建的目录中。AI 工具包在激活时会自动从该目录加载 ONNX 模型。

您可以在 我的模型 视图中找到您的模型。要使用模型，双击其名称或打开 工具 > Playground，然后从下拉列表中选择模型以开始与其交互。

注意：AI 工具包不支持直接删除手动添加的模型。要删除模型，请手动删除其目录。

支持转换的模型

下表列出了 AI 工具包中支持转换为 ONNX 格式的模型