AI Toolkit 常见问题解答

模型

如何查找我的远程模型终结点和身份验证标头？

以下是一些关于如何在常见的 OpenAI 服务提供商中查找终结点和身份验证标头的示例。对于其他提供商，你可以查看他们的文档，了解聊天完成终结点和身份验证标头。

示例 1：Azure OpenAI

1. 转到 Azure OpenAI Studio 中的部署边栏选项卡，然后选择一个部署，例如 gpt-4o。如果你还没有部署，请查阅有关如何创建部署的 Azure OpenAI 文档。

   

2. 在终结点部分的目标 URI 字段中检索你的聊天完成终结点

   

3. 从终结点部分的密钥属性中获取 API 密钥。

   复制 API 密钥后，在 AI Toolkit 中以 api-key: <YOUR_API_KEY> 的格式将其添加到身份验证标头中。有关身份验证标头的详细信息，请参阅 Azure OpenAI 服务文档。

示例 2：OpenAI

1. 目前，聊天完成终结点固定为 https://api.openai.com/v1/chat/completions。有关详细信息，请参阅 OpenAI 文档。

2. 转到 OpenAI 文档，然后选择 API Keys 或 Project API Keys 来创建或检索 API 密钥。

   复制 API 密钥后，在 AI Toolkit 中以 Authorization: Bearer <YOUR_API_KEY> 的格式填充身份验证标头。有关详细信息，请参阅 OpenAI 文档。

   

如何编辑终结点 URL 或身份验证标头？

如果输入的终结点或身份验证标头不正确，推理时可能会遇到错误。

1. 打开 VS Code setting.json 文件

   • 在身份验证失败通知中选择 Edit settings.json

     

   • 或者，在命令面板中输入 Open User Settings (JSON) (⇧⌘P (Windows、Linux Ctrl+Shift+P))

2. 搜索 windowsaistudio.remoteInfereneEndpoints 设置

3. 编辑或移除现有终结点 URL 或身份验证标头。

   

   保存设置后，树视图或游乐场中的模型列表将自动刷新。

如何加入 OpenAI o1-mini 或 OpenAI o1-preview 的候补名单？

OpenAI o1 系列模型专门设计用于处理推理和解决问题任务，具有增强的专注度和能力。这些模型会花费更多时间处理和理解用户的请求，这使得它们在科学、编码、数学和类似领域表现出色。例如，医疗保健研究人员可以使用 o1 来注释细胞测序数据，物理学家可以使用它来生成量子光学所需的复杂数学公式，所有领域的开发人员都可以使用它来构建和执行多步工作流。

访问 GitHub 模型市场 以查找 OpenAI o1-mini 或 OpenAI o1-preview 并加入候补名单。

我可以使用自己的模型或 Hugging Face 中的其他模型吗？

如果你的模型支持 OpenAI API 合同，你可以将其托管在云中并将其作为自定义模型添加到 AI Toolkit。你需要提供关键信息，例如模型终结点 URL、访问密钥和模型名称。

微调

有很多微调设置。我需要担心所有这些设置吗？

不需要，你可以使用默认设置和我们的示例数据集进行测试。你也可以选择自己的数据集，但需要调整一些设置。有关详细信息，请参阅微调教程。

AI Toolkit 不会搭建微调项目脚手架

请确保在安装扩展之前检查扩展先决条件。

我有 NVIDIA GPU 设备，但先决条件检查失败

如果你有 NVIDIA GPU 设备，但先决条件检查失败并显示“未检测到 GPU”，请确保已安装最新的驱动程序。你可以在NVIDIA 网站上检查和下载驱动程序。

另外，请确保已将其安装在路径中。若要验证，请从命令行运行 nvidia-smi。

我生成了项目，但 Conda 激活未能找到环境

设置环境时可能出现问题。你可以通过在工作区内部使用 bash /mnt/[PROJECT_PATH]/setup/first_time_setup.sh 手动初始化环境。

使用 Hugging Face 数据集时，如何获取它？

在启动 python finetuning/invoke_olive.py 命令之前，请确保运行 huggingface-cli login 命令。这可以确保能够代表你下载数据集。

环境

此扩展在 Linux 或其他系统上工作吗？

是的，AI Toolkit 在 Windows、Mac 和 Linux 上运行。

如何从 WSL 中禁用 Conda 自动激活

若要在 WSL 中禁用 Conda 安装，请运行 conda config --set auto_activate_base false。这会禁用基本环境。

目前是否支持容器？

我们目前正在开发容器支持，将在未来版本中启用。

为什么需要 GitHub 和 Hugging Face 凭据？

我们将所有项目模板托管在 GitHub 中，基础模型托管在 Azure 或 Hugging Face 中。这些环境需要帐户才能从 API 访问它们。

下载 Llama2 时出错

请确保通过 Llama 2 注册页面请求 Llama 的访问权限。这是遵守 Meta 贸易合规性的要求。

无法在 WSL 实例中保存项目

由于运行 AI Toolkit 操作时当前不支持远程会话，因此连接到 WSL 时无法保存项目。若要关闭远程连接，请在屏幕左下角选择“WSL”，然后选择“关闭远程连接”。

错误：GitHub API 禁用

我们将项目模板托管在 microsoft/windows-ai-studio-templates GitHub 存储库中，扩展使用 GitHub API 加载存储库内容。如果你在 Microsoft，可能需要授权 Microsoft 组织以避免此类禁用问题。

请参阅此问题以了解解决方法。详细步骤如下：

1. 从 VS Code 注销 GitHub 帐户

2. 重新加载 VS Code 和 AI Toolkit，系统将再次要求你登录 GitHub

3. 重要提示：在浏览器的授权页面上，请确保授权应用访问 Microsoft 组织

   

无法列出、加载或下载 ONNX 模型

检查 VS Code 输出面板中的 AI Toolkit 日志。如果看到 Agent 错误或 Failed to get downloaded models，请关闭所有 VS Code 实例并重新打开 VS Code。

(此问题是由于底层 ONNX 代理意外关闭造成的，上述步骤是为了重新启动代理。)