在 Foundry Toolkit 中探索模型

Foundry Toolkit 对各种生成式 AI 模型提供了全面的支持。

在模型目录中，你可以探索并使用来自多个托管源的模型

• 托管在 GitHub 上的模型（例如 Llama3、Phi-3 和 Mistral），包括按量付费选项。
• 由发布者直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 以及 Google 的 Gemini。
• 托管在 Microsoft Foundry 上的模型。
• 从 Foundry Local、Ollama 和 ONNX 等仓库本地下载的模型。
• 可通过“自带模型”（BYOM）集成访问的自定义自托管或外部部署模型。

直接从模型目录将模型部署到 Foundry，从而简化你的工作流。

查找模型

要在模型目录中查找模型

1. 在活动栏中选择 Foundry Toolkit 视图

2. 选择 Developer Tools > Discover > Model Catalog 以打开模型目录

3. 使用筛选器来缩减可用模型列表。

   • Hosted by：Foundry Toolkit 支持 Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Ollama、Anthropic、Google、NVIDIA NIM、MiniMax、Kimi、GLM 和 Windows AI API 作为模型托管源。
   • Publisher：AI 模型的发布者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
   • Feature：模型支持的功能，例如 Text Attachment、Image Attachment、Web Search、Structured Outputs 等。
   • Model type：筛选可在 CPU、GPU 或 NPU 上远程或本地运行的模型。此筛选器取决于本地可用性。
   • Fine-tuning Support：显示可用于运行微调的模型。

4. 按不同类别浏览模型，例如

   • Popular Models 是跨各种任务和领域广泛使用的模型的精选列表。
   • Microsoft Foundry Hosted Models 提供对托管在 Microsoft Foundry 上的热门模型的轻松访问。
   • GitHub Models 提供对托管在 GitHub 上的热门模型的轻松访问。它最适合快速原型制作和实验。
   • Local Models 用于选择托管在 Windows 上的 Microsoft Foundry 或 Ollama 上的模型，通过 GGUF 量化支持 CPU。

5. 或者，使用搜索框通过名称或描述查找特定模型

添加模型

根据你的起点，在 Foundry Toolkit 中添加要使用的模型有不同的流程。

从目录中添加模型

要从模型目录中添加模型

1. 在模型目录中找到要添加的模型

2. 根据提供商的不同，添加模型的流程略有不同

   • Microsoft Foundry：在你的 Microsoft Foundry 项目中部署模型。有关详细说明，请参阅 将模型部署到 Microsoft Foundry。

   • Custom Model：远程托管、需要 API 密钥并具有与 OpenAI 聊天补全兼容的终结点 URL。有关详细说明，请参阅 添加自定义模型。

   • Foundry Local：Foundry Local 会下载并运行模型，这可能需要几分钟时间，具体取决于你的网速。该模型可在 localhost 页面上访问并已添加到 Foundry Toolkit 中。在 什么是 Foundry Local？ 中了解详细信息。

   • Ollama：从 Ollama 下载模型并将其添加到 Foundry Toolkit 中。有关详细说明，请参阅 添加 Ollama 模型。

   • GitHub：Foundry Toolkit 会请求你的 GitHub 凭据以访问模型仓库。身份验证后，模型将直接添加到 Foundry Toolkit 中。

     注意

     Foundry Toolkit 现在 支持 GitHub 按量付费模型，因此你在超出免费层限制后可以继续工作。

   • ONNX：要添加 ONNX 模型，请先使用 模型转换工具 将其转换为 Foundry Toolkit 模型格式。转换后，将模型添加到 Foundry Toolkit 中。

添加模型后，它会显示在树状视图的 MY RESOURCES/Models 下，你可以在 Playground 或 Agent Builder 中使用它。

将模型部署到 Microsoft Foundry

直接从 Foundry Toolkit 将模型部署到 Microsoft Foundry。在云中运行模型并通过终结点进行访问。

1. 从模型目录中，选择要部署的模型。

2. 选择 Deploy to Microsoft Foundry（从下拉菜单中或直接点击 Deploy to Microsoft Foundry 按钮），如下图所示

   

3. 在 model deployment 选项卡中，输入所需的信息，例如模型名称、描述和任何其他设置，如下图所示

   

4. 选择 Deploy to Microsoft Foundry 以开始部署过程。

5. 通过检查详细信息并选择 Deploy 以继续，从而确认部署。

6. 部署完成后，该模型可在 Foundry Toolkit 的 MY RESOURCES > Your project name > Models 部分中找到，你可以在 playground 或 agent builder 中使用它。

添加自定义模型

对于可通过互联网访问且具有 OpenAI 兼容终结点的自托管或部署模型，将其添加到 Foundry Toolkit 中以便在 playground 中使用。

1. 有两种方法可以添加自定义模型

   • 在模型目录中，选择 + Bring Your Own Model 按钮

     

   • 在模型目录中，滚动到“Add Custom Models”部分，然后选择 Add a Custom Model 按钮。

     

2. 将弹出一个对话框，提示你输入 OpenAI 兼容的终结点 URL、模型名称、API 密钥和其他必需信息。

   

添加 Ollama 模型

Ollama 使得许多热门的生成式 AI 模型能够通过 GGUF 量化在本地使用 CPU 运行。如果你的本地计算机上安装了 Ollama 并且下载了 Ollama 模型，请将它们添加到 Foundry Toolkit 中以在模型 playground 中使用。

在 Visual Studio Code 扩展的 Microsoft Foundry Toolkit 中使用 Ollama 模型的前提条件是安装 Ollama（已在 Ollama v0.4.1 上进行测试）。

要将本地 Ollama 添加到 Foundry Toolkit 中

1. 从前面提到的入口点之一中，选择 Add Ollama Model。

   • MY RESOURCES > Local Resources，选择 Models 旁边的 + 按钮。

     

     这将打开添加模型选择器。选择“Add Ollama Model”。

     

   • 在模型目录中，向下滚动到“Local Models”部分，然后选择“Ollama”选项卡。选择该处列出的模型旁边的 Add 按钮，或选择 Add your own model。

     

2. 在阅读关于 Ollama 是第三方模型提供商的确认声明后，选择 Continue。

   

3. 接下来，选择 Select models from Ollama library。这会显示你在 Ollama 中安装的模型。使用复选框选择要在 Foundry Toolkit 中使用的模型。

   

   注意

   Foundry Toolkit 仅显示已在 Ollama 中下载且尚未添加到 Foundry Toolkit 的模型。要从 Ollama 下载模型，可以运行 ollama pull <model-name>。要查看 Ollama 支持的模型列表，请参阅 Ollama 库 或参考 Ollama 文档。

   或者，如果你在其他终结点上启动 Ollama 运行时，请选择 Provide custom Ollama endpoint 以指定 Ollama 终结点。

4. 现在，你应该会在树状视图的模型列表中看到一个或多个选定的 Ollama 模型。

   注意

   Ollama 模型暂不支持附件。Foundry Toolkit 使用 OpenAI 兼容终结点 连接到 Ollama，目前尚不支持附件。

选择用于测试的模型

你可以在 playground 中测试用于聊天补全的模型。

使用模型目录中模型卡片上的操作

• Try in Playground：加载所选模型以便在 Playground 中进行测试。
• Try in Agent Builder：在 Agent Builder 中加载所选模型以构建 AI 智能体。

管理模型

你可以在 Foundry Toolkit 侧边栏的 MY RESOURCES/Models 部分中管理你的模型

• 查看已添加到 Foundry Toolkit 的模型列表。

• 右键单击模型以访问以下选项

  • Load in Playground：在 Playground 中加载模型进行测试。
  • Copy Model Name：将模型名称复制到剪贴板，以便在其他上下文（例如你的代码集成）中使用。
    • Refresh：刷新模型配置以确保你拥有最新设置。
    • Edit：修改模型设置，例如 API 密钥或终结点。
    • Delete：从 Foundry Toolkit 中删除模型。
    • About this Model：查看有关该模型的详细信息，包括其发布者、来源和支持的功能。

• 右键单击 ONNX 部分标题以访问以下选项

  • Start Server：启动 ONNX 服务器以在本地运行 ONNX 模型。
  • Stop Server：如果 ONNX 服务器正在运行，则将其停止。
  • Copy Endpoint：将 ONNX 服务器终结点复制到剪贴板，以便在其他上下文（例如你的代码集成）中使用。

许可与登录

某些模型需要发布者或托管服务的许可和登录帐户。在这种情况下，在运行 model playground 中的模型之前，系统会提示你提供此信息。

您学到了什么

在本文中，您学习了如何

• 在 Foundry Toolkit 中探索和管理生成式 AI 模型。
• 查找来自各种来源的模型，包括 Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定义终结点。
• 将模型添加到你的工具包中，并将其部署到 Microsoft Foundry。
• 添加自定义模型（包括 Ollama 和 OpenAI 兼容模型），并在 playground 或 agent builder 中进行测试。
• 使用模型目录查看可用模型，并选择最适合你的 AI 应用需求的模型。
• 使用筛选器和搜索来快速查找模型。
• 按类别浏览模型，例如 Popular、GitHub、ONNX 和 Ollama。
• 使用模型转换工具转换并添加自定义 ONNX 模型。
• 在 MY RESOURCES/Models 中管理模型，包括编辑、删除、刷新和查看详情。
• 启动和停止 ONNX 服务器，并复制本地模型的终结点。
• 在测试某些模型之前，处理其许可和登录要求。