探索智能体开发 -

AI Toolkit 常见问题解答 (FAQ)

模型

如何查找我的远程模型终端节点和身份验证标头？

以下是一些关于如何在常见的 OpenAI 服务提供商中查找终端节点和身份验证标头的示例。对于其他提供商，您可以查阅其关于聊天补全 (chat completion) 终端节点和身份验证标头的文档。

示例 1：Azure OpenAI

  1. 转到 Azure OpenAI Studio 中的部署 (Deployments) 选项卡，然后选择一个部署，例如 gpt-4o。如果您还没有部署，请查看 Azure OpenAI 文档了解如何创建部署。

    Select model deployment

  2. 在终端节点 (Endpoint) 部分的目标 URI (Target URI) 字段中检索您的聊天补全终端节点。

    Find model endpoint

  3. 从终端节点 (Endpoint) 部分的密钥 (Key) 属性中获取 API 密钥。

    复制 API 密钥后，请以 api-key: <YOUR_API_KEY> 的格式将其添加到 AI Toolkit 的身份验证标头中。请参阅 Azure OpenAI 服务文档以了解有关身份验证标头的更多信息。

示例 2：OpenAI

  1. 目前，聊天补全终端节点固定为 https://api.openai.com/v1/chat/completions。请参阅 OpenAI 文档以了解详情。

  2. 转到 OpenAI 文档并选择 API Keys 或 Project API Keys 来创建或检索您的 API 密钥。

    复制 API 密钥后，请以 Authorization: Bearer <YOUR_API_KEY> 的格式将其填入 AI Toolkit 的身份验证标头中。详情请参阅 OpenAI 文档。

    Find model access key

如何编辑终端节点 URL 或身份验证标头？

如果您输入了错误的终端节点或身份验证标头，推理时可能会遇到错误。

  1. 打开 VS Code 的 setting.json 文件

    • 在身份验证失败通知中选择 Edit settings.json

      Edit

    • 或者，在命令面板中输入 Open User Settings (JSON) (⇧⌘P (Windows, Linux Ctrl+Shift+P))

  2. 搜索 windowsaistudio.remoteInfereneEndpoints 设置

  3. 编辑或删除现有的终端节点 URL 或身份验证标头。

    Edit endpoint in settings

    保存设置后，树状视图或游乐场 (playground) 中的模型列表将自动刷新。

如何加入 OpenAI o1-mini 或 OpenAI o1-preview 的候补名单？

OpenAI o1 系列模型专为处理推理和解决问题的任务而设计，具有更高的专注度和能力。这些模型花费更多时间来处理和理解用户的请求，使其在科学、编程、数学等领域表现卓越。例如，医疗研究人员可以使用 o1 来标注细胞测序数据，物理学家可以使用它生成量子光学所需的复杂数学公式，各领域的开发人员也可以利用它构建并执行多步工作流。

重要

o1-preview 模型目前处于有限访问阶段。要在游乐场中尝试该模型，需要进行注册，访问权限将根据微软的资格标准进行授予。

访问 GitHub 模型市场以查找 OpenAI o1-mini 或 OpenAI o1-preview 并加入候补名单。

我可以使用我自己的模型或其他来自 Hugging Face 的模型吗？

如果您的模型支持 OpenAI API 协议，您可以将其托管在云端，并将模型添加到 AI Toolkit 作为自定义模型。您需要提供关键信息，如模型终端节点 URL、访问密钥和模型名称。

微调 (Fine-tuning)

微调设置有很多，我需要全部关注吗？

不需要，您可以直接使用默认设置和我们的示例数据集进行测试。您也可以选择自己的数据集，但需要调整一些设置。请参阅微调教程以获取更多信息。

AI Toolkit 未构建 (scaffold) 微调项目

安装扩展前，请务必查看扩展先决条件。

我有 NVIDIA GPU 设备，但先决条件检查失败

如果您有 NVIDIA GPU 设备，但先决条件检查提示“未检测到 GPU (GPU is not detected)”，请确保已安装最新驱动程序。您可以访问 NVIDIA 官网检查并下载驱动程序。

此外，请确保它已安装在路径中。验证方法是在命令行运行 nvidia-smi。

我生成了项目，但 Conda activate 无法找到环境

这可能是环境设置时出现了问题。您可以从工作区内部运行 bash /mnt/[PROJECT_PATH]/setup/first_time_setup.sh 来手动初始化环境。

使用 Hugging Face 数据集时，如何获取它？

在开始 python finetuning/invoke_olive.py 命令之前，请确保运行了 huggingface-cli login 命令。这能确保数据集以您的名义进行下载。

环境

该扩展是否适用于 Linux 或其他系统？

是的，AI Toolkit 支持 Windows、Mac 和 Linux。

如何从我的 WSL 中禁用 Conda 自动激活

要禁用 WSL 中的 Conda 安装，请运行 conda config --set auto_activate_base false。这将禁用基础环境。

你们目前支持容器吗？

我们目前正在开发容器支持功能，该功能将在未来的版本中启用。

为什么需要 GitHub 和 Hugging Face 凭据？

我们所有的项目模板都托管在 GitHub 上，基础模型则托管在 Azure 或 Hugging Face 上。这些环境需要账号才能通过 API 进行访问。

下载 Llama2 时出现错误

请确保您已通过 Llama 2 注册页面申请了访问权限。这是遵守 Meta 贸易合规性的必要步骤。

我无法在 WSL 实例中保存项目

由于 AI Toolkit 操作目前不支持远程会话，因此在连接到 WSL 时无法保存项目。要关闭远程连接，请选择屏幕左下角的“WSL”，然后选择“关闭远程连接 (Close Remote Connections)”。

错误：GitHub API 被禁止 (GitHub API forbidden)

我们将项目模板托管在 microsoft/windows-ai-studio-templates GitHub 仓库中，该扩展使用 GitHub API 加载仓库内容。如果您是微软员工，可能需要授权 Microsoft 组织以避免此类被禁止的问题。

参见此问题以获取解决方法。详细步骤如下：

  1. 从 VS Code 中注销 GitHub 账号

  2. 重新加载 VS Code 和 AI Toolkit，系统将提示您重新登录 GitHub

  3. 重要：在浏览器的授权页面中，请务必授权该应用程序访问 Microsoft 组织

    Authorize Access

无法列出、加载或下载 ONNX 模型

检查 VS Code 输出 (Output) 面板中的 AI Toolkit 日志。如果您看到 Agent 错误或 Failed to get downloaded models（获取下载模型失败），请关闭所有 VS Code 实例并重新打开。

(此问题是由底层的 ONNX 代理意外关闭引起的，上述步骤是为了重启该代理。)

12/11/2024
English 한국어 中文(简体) 中文(繁體)
© . This site is unofficial and not affiliated with Microsoft.