在 AI Toolkit 中探索模型

AI Toolkit 为各种生成式 AI 模型提供全面支持，包括小型语言模型 (SLM) 和大型语言模型 (LLM)。

在模型目录中，您可以探索并使用来自多个托管来源的模型

• 托管在 GitHub 上的模型（如 Llama3、Phi-3 和 Mistral），包括即用即付选项。
• 由发布者直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
• 托管在 Microsoft Foundry 上的模型。
• 从 Foundry Local、Ollama 和 ONNX 等存储库本地下载的模型。
• 可通过“自带模型”(BYOM) 集成访问的自定义自托管或外部部署模型。

直接从模型目录将模型部署到 Foundry，从而简化您的工作流程。

查找模型

要在模型目录中查找模型

1. 在活动栏中选择 AI Toolkit 视图

2. 选择 MODELS（模型） > Catalog（目录） 以打开模型目录

3. 使用过滤器来缩小可用模型的列表范围

   • Hosted by（托管方）：AI Toolkit 支持 Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Ollama、Anthropic、Google、NVIDIA NIM 和 Windows AI API 作为模型托管来源。
   • Publisher（发布者）：AI 模型的发布者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
   • Feature（功能）：模型支持的功能，例如 Text Attachment（文本附件）、Image Attachment（图像附件）、Web Search（网络搜索）、Structured Outputs（结构化输出） 等。
   • Model type（模型类型）：筛选可在 CPU、GPU 或 NPU 上远程或本地运行的模型。此过滤器取决于本地的可用性。
   • Fine-tuning Support（微调支持）：显示可用于进行微调的模型。

4. 按不同类别浏览模型，例如

   • Popular Models（热门模型）：这是一个精选列表，包含在各种任务和领域中广泛使用的模型。
   • GitHub Models（GitHub 模型）：提供对托管在 GitHub 上的热门模型的便捷访问。非常适合快速原型设计和实验。
   • ONNX Models（ONNX 模型）：针对本地执行进行了优化，可在 CPU、GPU 或 NPU 上运行。
   • Ollama Models（Ollama 模型）：可通过 Ollama 在本地运行的热门模型，支持通过 GGUF 量化在 CPU 上运行。

5. 或者，使用搜索框按名称或描述查找特定模型

从目录中添加模型

从模型目录中添加模型

1. 在模型目录中找到您要添加的模型。

2. 选择模型卡片上的 Add（添加）

3. 根据提供商的不同，添加模型的流程略有不同

   • Foundry Local：Foundry Local 会下载并运行该模型，根据您的网速，可能需要几分钟时间。该模型可在 localhost 页面上使用，并已添加到 AI Toolkit。在什么是 Foundry Local？中了解更多信息。

   • GitHub：AI Toolkit 会请求您的 GitHub 凭据以访问模型存储库。验证成功后，模型会直接添加到 AI Toolkit 中。

     注意

     AI Toolkit 现已支持 GitHub 即用即付模型，因此您可以在超过免费层级限制后继续工作。

   • ONNX：模型从 ONNX 下载并添加到 AI Toolkit。

   • Ollama：模型从 Ollama 下载并添加到 AI Toolkit。

     提示

     您可以稍后通过右键单击模型并选择 Edit（编辑） 来修改 API 密钥，并在 ${HOME}/.aikt/models/my-models/yml 文件中查看加密值。

   • OpenAI、Anthropic 和 Google：AI Toolkit 会提示您输入 API 密钥。

   • Custom models（自定义模型）：请参阅添加自定义模型部分以获取详细说明。

添加后，模型会出现在树状视图的 MY RESOURCES/Models（我的资源/模型） 下，您可以在 Playground（实验室） 或 Agent Builder（代理构建器） 中使用它。

添加自定义模型

您还可以添加自己托管在外部或在本地运行的模型。有几种可用的选项

• 从 Ollama 库或自定义 Ollama 端点添加 Ollama 模型。
• 添加具有 OpenAI 兼容端点的自定义模型，例如自托管模型或在云服务上运行的模型。
• 使用 AI Toolkit 的模型转换工具添加自定义 ONNX 模型，例如来自 Hugging Face 的模型。

有几种入口点可将模型添加到 AI Toolkit

• 在树状视图的 MY RESOURCES（我的资源） 部分，将鼠标悬停在 Models（模型） 上并选择 + 图标。

• 从 Model Catalog（模型目录） 中，从工具栏选择 + Add model（+ 添加模型） 按钮。

• 从模型目录的 Add Custom Models（添加自定义模型） 部分，选择 + Add Your Own Model（+ 添加您自己的模型）。

添加 Ollama 模型

Ollama 支持许多流行的生成式 AI 模型通过 GGUF 量化在本地 CPU 上运行。如果您的本地计算机上已安装 Ollama 并下载了 Ollama 模型，请将其添加到 AI Toolkit 以在模型实验室中使用。

在 AI Toolkit 中使用 Ollama 模型的前提条件

• AI Toolkit v0.6.2 或更高版本。
• Ollama（已在 Ollama v0.4.1 上测试）

将本地 Ollama 添加到 AI Toolkit

1. 从上述任一入口点，选择 Add Ollama Model（添加 Ollama 模型）。

   

2. 接下来，选择 Select models from Ollama library（从 Ollama 库中选择模型）

   如果您在不同的端点启动 Ollama 运行时，请选择 Provide custom Ollama endpoint（提供自定义 Ollama 端点） 以指定 Ollama 端点。

3. 选择您要添加到 AI Toolkit 的模型，然后选择 OK（确定）

   注意

   AI Toolkit 仅显示已在 Ollama 中下载且尚未添加到 AI Toolkit 的模型。要从 Ollama 下载模型，您可以运行 ollama pull <model-name>。要查看 Ollama 支持的模型列表，请参阅 Ollama 库 或参阅 Ollama 文档。

4. 现在，您应该会在树状视图的模型列表中看到一个或多个选定的 Ollama 模型。

   注意

   Ollama 模型暂不支持附件功能。AI Toolkit 使用 OpenAI 兼容端点 连接到 Ollama，目前不支持附件。

添加具有 OpenAI 兼容端点的自定义模型

对于可通过互联网访问且具有 OpenAI 兼容端点的自托管或已部署模型，请将其添加到 AI Toolkit 以在实验室中使用。

1. 从任一入口点，选择 Add Custom Model（添加自定义模型）。
2. 输入 OpenAI 兼容的端点 URL 和所需信息。

添加自托管或本地运行的 Ollama 模型

1. 在模型目录中选择 + Add model（+ 添加模型）。
2. 在模型快速选择器中，选择 Ollama 或 Custom model（自定义模型）。
3. 输入模型的所需详细信息。

添加自定义 ONNX 模型

要添加自定义 ONNX 模型，请先使用模型转换工具将其转换为 AI Toolkit 模型格式。转换完成后，将该模型添加到 AI Toolkit。

将模型部署到 Microsoft Foundry

直接从 AI Toolkit 将模型部署到 Microsoft Foundry。在云中运行模型并通过端点访问它。

1. 从模型目录中，选择您要部署的模型。

2. 选择 Deploy to Microsoft Foundry（部署到 Microsoft Foundry），可以通过下拉菜单选择，也可以直接点击 Deploy to Microsoft Foundry 按钮（如下面的屏幕截图所示）

   

3. 在 model deployment（模型部署） 选项卡中，输入所需信息，例如模型名称、描述以及任何其他设置（如下面的屏幕截图所示）

   

4. 选择 Deploy to Microsoft Foundry（部署到 Microsoft Foundry） 以开始部署过程。

5. 通过检查详细信息并选择 Deploy（部署） 来确认部署，以继续进行。

6. 部署完成后，该模型将在 AI Toolkit 的 MY RESOURCES/Models（我的资源/模型） 部分中可用，您可以在实验室或代理构建器中使用它。

选择用于测试的模型

您可以在实验室中测试模型以进行聊天补全。

使用模型目录中模型卡片上的操作

• Try in Playground（在实验室中尝试）：加载选定的模型以在 Playground（实验室） 中进行测试。
• Try in Agent Builder（在代理构建器中尝试）：在 Agent Builder（代理构建器） 中加载选定的模型以构建 AI 代理。

管理模型

您可以在 AI Toolkit 视图的 MY RESOURCES/Models（我的资源/模型） 部分管理您的模型

• 查看已添加到 AI Toolkit 的模型列表。

• 右键单击模型以访问选项，例如

  • Load in Playground（在实验室中加载）：在 Playground（实验室） 中加载模型以进行测试。
  • Copy Model Name（复制模型名称）：将模型名称复制到剪贴板，以便在其他上下文中使用，例如您的代码集成中。
    • Refresh（刷新）：刷新模型配置以确保您拥有最新的设置。
    • Edit（编辑）：修改模型设置，例如 API 密钥或端点。
    • Delete（删除）：从 AI Toolkit 中移除模型。
    • About this Model（关于此模型）：查看有关模型的详细信息，包括其发布者、来源和支持的功能。

• 右键单击 ONNX 部分标题以访问选项，例如

  • Start Server（启动服务器）：启动 ONNX 服务器以在本地运行 ONNX 模型。
  • Stop Server（停止服务器）：如果 ONNX 服务器正在运行，则停止它。
  • Copy Endpoint（复制端点）：将 ONNX 服务器端点复制到剪贴板，以便在其他上下文中使用，例如您的代码集成中。

许可与登录

某些模型需要发布者或托管服务的许可和账户才能登录。在这种情况下，在您能在 model playground（模型实验室） 中运行模型之前，系统会提示您提供此信息。

您学到了什么

在本文中，您学习了如何

• 在 AI Toolkit 中探索和管理生成式 AI 模型。
• 从各种来源查找模型，包括 Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定义端点。
• 将模型添加到您的工具包中并将其部署到 Microsoft Foundry。
• 添加自定义模型（包括 Ollama 和 OpenAI 兼容模型），并在实验室或代理构建器中进行测试。
• 使用模型目录查看可用模型，并选择最适合您 AI 应用程序需求的一款。
• 使用过滤器和搜索功能快速查找模型。
• 按类别浏览模型，如 Popular（热门）、GitHub、ONNX 和 Ollama。
• 使用模型转换工具转换并添加自定义 ONNX 模型。
• 在 MY RESOURCES/Models（我的资源/模型）中管理模型，包括编辑、删除、刷新和查看详细信息。
• 启动和停止 ONNX 服务器，并为本地模型复制端点。
• 在测试前处理某些模型的许可和登录要求。