AI 工具包常见问题解答
模型
如何查找远程模型端点和身份验证标头?
以下是关于如何在常见 OpenAI 服务提供商中查找端点和身份验证标头的一些示例。对于其他提供商,你可以查阅其关于聊天完成端点和身份验证标头的文档。
示例 1:Azure OpenAI
-
转到 Azure OpenAI Studio 中的“部署”边栏选项卡,并选择一个部署,例如
gpt-4o
。如果你还没有部署,请查阅 Azure OpenAI 文档,了解如何创建部署。 -
在“端点”部分的“目标 URI”字段中检索你的聊天完成端点
-
从“端点”部分的“密钥”属性中获取 API 密钥。
复制 API 密钥后,将其以
api-key: <YOUR_API_KEY>
的格式添加到 AI 工具包的身份验证标头中。请参阅 Azure OpenAI 服务文档,了解有关身份验证标头的更多信息。
示例 2:OpenAI
-
目前,聊天完成端点固定为
https://api.openai.com/v1/chat/completions
。请参阅 OpenAI 文档,了解更多信息。 -
转到 OpenAI 文档,选择“API 密钥”或“项目 API 密钥”以创建或检索你的 API 密钥。
复制 API 密钥后,将其以
Authorization: Bearer <YOUR_API_KEY>
的格式填写到 AI 工具包的身份验证标头中。请参阅 OpenAI 文档以获取更多信息。
如何编辑端点 URL 或身份验证标头?
如果输入错误的端点或身份验证标头,可能会遇到推理错误。
-
打开 VS Code
setting.json
文件-
在身份验证失败通知中选择“编辑 settings.json”
-
或者,在命令面板 (⇧⌘P (Windows, Linux Ctrl+Shift+P)) 中输入“打开用户设置 (JSON)”
-
-
搜索
windowsaistudio.remoteInfereneEndpoints
设置 -
编辑或删除现有端点 URL 或身份验证标头。
保存设置后,树状视图或游乐场中的模型列表将自动刷新。
如何加入 OpenAI o1-mini 或 OpenAI o1-preview 的候补名单?
OpenAI o1 系列模型专门设计用于处理推理和问题解决任务,具有更高的专注度和能力。这些模型花费更多时间处理和理解用户的请求,使其在科学、编码、数学和类似领域表现出色。例如,o1 可供医疗保健研究人员用于注释细胞测序数据,供物理学家用于生成量子光学所需的复杂数学公式,以及供所有领域的开发人员用于构建和执行多步工作流。
o1-preview 模型可供有限访问。要在游乐场中试用该模型,需要注册,并且根据 Microsoft 的资格标准授予访问权限。
访问 GitHub 模型市场,查找 OpenAI o1-mini 或 OpenAI o1-preview 并加入候补名单。
我可以使用自己的模型或 Hugging Face 中的其他模型吗?
如果你的模型支持 OpenAI API 协定,则可以将其托管在云中,并将其 添加到 AI 工具包 作为自定义模型。你需要提供关键信息,例如模型端点 URL、访问密钥和模型名称。
微调
有许多微调设置。我需要担心所有这些设置吗?
不,你可以使用默认设置和我们的示例数据集进行测试。你也可以选择自己的数据集,但需要调整一些设置。有关更多信息,请参阅微调教程。
AI 工具包不搭建微调项目
在安装扩展之前,请务必检查扩展先决条件。
我拥有 NVIDIA GPU 设备,但先决条件检查失败
如果你拥有 NVIDIA GPU 设备但先决条件检查失败并显示“未检测到 GPU”,请确保已安装最新的驱动程序。你可以在 NVIDIA 网站上检查和下载驱动程序。
此外,请确保已将其安装在路径中。要验证,请从命令行运行 nvidia-smi
。
我生成了项目,但 Conda 激活失败,无法找到环境
设置环境时可能出现问题。你可以通过在工作区内使用 bash /mnt/[PROJECT_PATH]/setup/first_time_setup.sh
手动初始化环境。
使用 Hugging Face 数据集时,如何获取它?
在启动 python finetuning/invoke_olive.py
命令之前,请确保运行 huggingface-cli login
命令。这确保可以代表你下载数据集。
环境
该扩展是否适用于 Linux 或其他系统?
是的,AI 工具包在 Windows、Mac 和 Linux 上运行。
如何禁用 WSL 中的 Conda 自动激活
要禁用 WSL 中的 Conda 安装,请运行 conda config --set auto_activate_base false
。这将禁用基本环境。
你们目前支持容器吗?
我们目前正在开发容器支持,并将在未来的版本中启用。
为什么需要 GitHub 和 Hugging Face 凭据?
我们所有的项目模板都托管在 GitHub 中,基础模型托管在 Azure 或 Hugging Face 中。这些环境需要帐户才能通过 API 访问它们。
我下载 Llama2 时出现错误
请确保通过 Llama 2 注册页面 请求访问 Llama。这是为了遵守 Meta 的贸易合规性要求。
我无法在 WSL 实例中保存项目
由于目前在运行 AI 工具包操作时不支持远程会话,因此在连接到 WSL 时无法保存项目。要关闭远程连接,请选择屏幕左下角的“WSL”并选择“关闭远程连接”。
错误:GitHub API 被禁止
我们将项目模板托管在 microsoft/windows-ai-studio-templates
GitHub 存储库中,并且该扩展使用 GitHub API 加载存储库内容。如果你在 Microsoft,可能需要授权 Microsoft 组织以避免此类禁止问题。
请参阅此问题以获取解决方法。详细步骤如下:
-
从 VS Code 注销 GitHub 帐户
-
重新加载 VS Code 和 AI 工具包,系统将要求你再次登录 GitHub
-
重要:在浏览器的授权页面中,请务必授权应用访问 Microsoft 组织
无法列出、加载或下载 ONNX 模型
检查 VS Code 输出面板中的 AI 工具包日志。如果你看到“代理”错误或“无法获取已下载的模型”,则关闭所有 VS Code 实例并重新打开 VS Code。
(此问题是由底层 ONNX 代理意外关闭引起的,上述步骤是为了重新启动代理。)