手动设置环境
本文介绍了如何为不同硬件目标手动设置模型转换和模型推理所需的 Python 环境。
设置模型转换环境
建议使用 uv 创建 Python 虚拟环境来安装环境，因为 AI Toolkit 内部使用了该工具。
除非另行配置，否则默认 Python 版本为 3.12。
需求安装
当 AI Toolkit 设置虚拟环境时，它会按顺序安装三种类型的需求文件：
- 基础需求 (Base requirements)：基本需求，包含所有软件包。
- 功能需求 (Feature requirements)：方案所需的额外需求，在基础需求之后安装。
- 项目需求 (Project requirements)：项目内的
requirements.txt文件，允许自定义依赖项。
这些文件托管在 olive-recipes 仓库中。
注意
需求文件支持特殊命令以丰富其内容。在安装需求文件之前，请检查是否存在特殊命令并进行相应处理，然后使用 uv pip install -r xxx.txt 进行正常安装。
示例：高通 NPU
对于 Deepseek 高通 NPU，runtimeOverwrite.executeEp 为 CUDAExecutionProvider，因此基础需求文件为 NvidiaGPU。executeRuntimeFeatures 为 AutoGptq，因此功能需求文件为 AutoGptq。
示例：AMD NPU
对于 Deepseek AMD NPU，runtimeOverwrite.executeEp 为 AMD/Quark_py3.10.17，因此基础需求文件为 AMD/Quark_py3.10.17。该配置无功能需求。请为此虚拟环境使用 Python 3.10。
设置模型推理环境
该过程与设置模型转换环境类似。
提示
同一个需求文件也可用于转换。你可能仅需从该文件中安装 onnxruntime-windowsml 和 onnxruntime-genai-winml。
WCR 是 AI Toolkit 中用于在所有执行提供程序上运行模型的最新需求文件。
注意
对于 QNN 上的 LLM 模型，arm64 Python 环境可提供更好的性能。此配置提供了一个专用的需求文件。