现已发布！阅读关于 12 月份的新功能和修复。

探索 AI Toolkit 中的模型

AI Toolkit 为包括小型语言模型 (SLM) 和大型语言模型 (LLM) 在内的各种生成式 AI 模型提供全面的支持。

在模型目录中，您可以浏览并使用来自多个托管源的模型

  • 托管在 GitHub 上的模型，例如 Llama3、Phi-3 和 Mistral，包括即用即付选项。
  • 由发布者直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
  • 托管在 Microsoft Foundry 上的模型。
  • 从 Ollama 和 ONNX 等存储库本地下载的模型。
  • 通过自带模型 (BYOM) 集成访问的自定义自托管或外部部署模型。

直接从模型目录将模型部署到 Foundry，从而简化您的工作流程。

注意

使用 Microsoft Foundry、Foundry Local 和添加到 AI Toolkit 的 GitHub 模型，以及 GitHub Copilot。有关更多信息，请参阅 更改聊天对话的模型。

AI Toolkit model catalog displaying various generative AI models

查找模型

在模型目录中查找模型

  1. 在活动栏中选择 AI Toolkit 视图

  2. 选择 模型 > 目录 以打开模型目录

  3. 使用筛选器缩小可用模型的列表

    • 托管方：AI Toolkit 支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。
    • 发布者：AI 模型的发布者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
    • 功能：模型支持的功能，例如 文本附件、图像附件、网络搜索、结构化输出 等。
    • 模型类型：筛选可以在 CPU、GPU 或 NPU 上远程或本地运行的模型。此筛选器取决于本地可用性。
    • 微调支持：显示可用于运行微调的模型。

  4. 按不同类别浏览模型，例如

    • 热门模型 是一个精选列表，包含各种任务和领域中广泛使用的模型。
    • GitHub 模型 可轻松访问托管在 GitHub 上的热门模型。最适合快速原型设计和实验。
    • ONNX 模型 经过优化，可在本地执行，并可在 CPU、GPU 或 NPU 上运行。
    • Ollama 模型 是可在 Ollama 上本地运行的热门模型，支持通过 GGUF 量化运行 CPU。

  5. 或者，使用搜索框按名称或描述查找特定模型

从目录中添加模型

从模型目录中添加模型

  1. 在模型目录中找到要添加的模型。

  2. 选择模型卡片上的 添加

  3. 添加模型的流程会因提供商而略有不同

    • GitHub：AI Toolkit 会请求您的 GitHub 凭据以访问模型存储库。身份验证后，模型将直接添加到 AI Toolkit 中。

      注意

      AI Toolkit 现在 支持 GitHub 即用即付模型，因此您可以在超出免费套餐限制后继续工作。

    • ONNX：模型将从 ONNX 下载并添加到 AI Toolkit。

    • Ollama：模型将从 Ollama 下载并添加到 AI Toolkit。

      提示

      您可以在之后通过右键单击模型并选择 编辑 来编辑 API 密钥，并在 ${HOME}/.aikt/models/my-models/yml 文件中查看加密值。 AI Toolkit 界面截图，显示一个模型卡片，其中包含在 Playground 中试用、下载和在 Playground 中加载选项。

    • OpenAI、Anthropic 和 Google：AI Toolkit 会提示您输入 API 密钥。

    • 自定义模型：有关详细说明，请参阅 添加自定义模型 部分。

添加后，模型将显示在树视图的 我的模型 下，您可以在 Playground 或 Agent Builder 中使用它。

添加自定义模型

您还可以添加自己托管在外部或本地运行的模型。有几种可用选项

  • 从 Ollama 库或自定义 Ollama 端点添加 Ollama 模型。
  • 添加具有 OpenAI 兼容端点的自定义模型，例如自托管模型或在云服务上运行的模型。
  • 使用 AI Toolkit 的 模型转换工具 添加自定义 ONNX 模型，例如来自 Hugging Face 的模型。

有几个入口点可以向 AI Toolkit 添加模型

  • 从树视图中的 我的模型，将其悬停在上面并选择 + 图标。 AI Toolkit 界面截图，显示带有 + 添加模型按钮的模型目录工具栏，指示用户可以在此处单击以添加新的自定义模型。

  • 从 模型目录，从工具栏中选择 + 添加模型 按钮。 AI Toolkit 界面截图，显示带有 + 添加模型按钮的模型目录工具栏。工具栏位于目录视图的顶部，并突出显示 + 添加模型按钮，以指示用户可以在此处单击以添加新的自定义模型。

  • 从模型目录中的 添加自定义模型 部分，选择 + 添加您自己的模型。 AI Toolkit 界面截图，显示模型目录中的自定义模型部分。+ 添加模型按钮突出显示，指示用户可以在此处单击以添加新的自定义模型。

添加 Ollama 模型

Ollama 使许多热门的 genAI 模型能够通过 GGUF 量化在 CPU 上本地运行。如果您在本地机器上安装了 Ollama 并下载了 Ollama 模型，则可以将它们添加到 AI Toolkit 中，以便在模型 playground 中使用。

在 AI Toolkit 中使用 Ollama 模型的前提条件

  • AI Toolkit v0.6.2 或更高版本。
  • Ollama (在 Ollama v0.4.1 上测试)

将本地 Ollama 添加到 AI Toolkit

  1. 从上述入口点之一中，选择 添加 Ollama 模型。

    Select model type to add

  2. 接下来，选择 从 Ollama 库中选择模型

    如果您在不同的端点启动 Ollama 运行时，请选择 提供自定义 Ollama 端点 来指定 Ollama 端点。

  3. 选择要添加到 AI Toolkit 的模型，然后选择 确定

    注意

    AI Toolkit 仅显示已在 Ollama 中下载但尚未添加到 AI Toolkit 的模型。要从 Ollama 下载模型，可以运行 ollama pull <model-name>。要查看 Ollama 支持的模型列表，请参阅 Ollama 库 或参考 Ollama 文档。

  4. 您现在应该会在树视图的模型列表中看到选定的 Ollama 模型。

    注意

    Ollama 模型尚不支持附件。由于我们通过其 OpenAI 兼容端点 连接到 Ollama，而它尚不支持附件。

添加具有 OpenAI 兼容端点的自定义模型

如果您有一个自托管或已部署且可通过互联网访问并具有 OpenAI 兼容端点的模型，则可以将其添加到 AI Toolkit 并在 playground 中使用。

  1. 从上述入口点之一中，选择 添加自定义模型。
  2. 输入 OpenAI 兼容的端点 URL 和所需信息。

添加自托管或本地运行的 Ollama 模型

  1. 在模型目录中选择 + 添加模型。
  2. 在模型快速选择中，选择 Ollama 或 自定义模型。
  3. 输入所需详细信息以添加模型。

添加自定义 ONNX 模型

要添加自定义 ONNX 模型，请先使用 模型转换工具 将其转换为 AI Toolkit 模型格式。转换后，将模型添加到 AI Toolkit。

将模型部署到 Microsoft Foundry

您可以直接从 AI Toolkit 将模型部署到 Microsoft Foundry。这允许您在云中运行模型并通过端点访问它。

  1. 从模型目录中，选择要部署的模型。

  2. 选择 部署到 Microsoft Foundry，可以从下拉菜单中选择，也可以直接从 部署到 Microsoft Foundry 按钮中选择，如下图所示

    Screenshot of the AI Toolkit interface showing the model catalog with a model selected and the Deploy to Microsoft Foundry button highlighted.

  3. 在 模型部署 选项卡中，输入所需信息，例如模型名称、描述和任何其他设置，如下图所示

    Screenshot of the AI Toolkit interface showing the model deployment tab with fields for model name, description, and additional settings.

  4. 选择 部署到 Microsoft Foundry 开始部署过程。

  5. 将出现一个对话框以确认部署。检查详细信息并选择 部署 以继续。

  6. 部署完成后，模型将在 AI Toolkit 的 我的模型 部分中可用，您可以在 playground 或 agent builder 中使用它。

选择要测试的模型

您可以在 playground 中测试模型以进行聊天补全。

使用模型目录中模型卡片上的操作

  • 在 Playground 中试用：加载选定的模型以在 Playground 中进行测试。
  • 在 Agent Builder 中试用：在 Agent Builder 中加载选定的模型以构建 AI 代理。

管理模型

您可以在 AI Toolkit 视图的 我的模型 部分管理您的模型。在此您可以

  • 查看您已添加到 AI Toolkit 的模型列表。

  • 右键单击模型以访问选项，例如

    • 在 Playground 中加载：在 Playground 中加载模型进行测试。
    • 复制模型名称：将模型名称复制到剪贴板，以便在其他上下文中（例如您的代码集成）使用。
    • 刷新：刷新模型配置以确保您拥有最新的设置。
    • 编辑：修改模型设置，例如 API 密钥或端点。
    • 删除：从 AI Toolkit 中移除模型。
    • 关于此模型：查看有关模型的详细信息，包括其发布者、来源和支持的功能。

  • 右键单击 ONNX 部分标题以访问选项，例如

    • 启动服务器：启动 ONNX 服务器以在本地运行 ONNX 模型。
    • 停止服务器：如果 ONNX 服务器正在运行，请停止它。
    • 复制端点：将 ONNX 服务器端点复制到剪贴板，以便在其他上下文中（例如您的代码集成）使用。

许可和登录

某些模型需要发布者或托管服务许可和账户才能登录。在这种情况下，在您可以在 模型 playground 中运行模型之前，会提示您提供此信息。

您学到了什么

在本文中，您学习了如何

  • 探索和管理 AI Toolkit 中的生成式 AI 模型。
  • 从各种来源查找模型，包括 GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定义端点。
  • 将模型添加到您的工具包并将其部署到 Microsoft Foundry。
  • 添加自定义模型，包括 Ollama 和 OpenAI 兼容模型，并在 playground 或 agent builder 中进行测试。
  • 使用模型目录查看可用模型，并选择最适合您 AI 应用需求的模型。
  • 使用筛选器和搜索快速查找模型。
  • 按类别浏览模型，例如热门模型、GitHub 模型、ONNX 模型和 Ollama 模型。
  • 使用模型转换工具转换并添加自定义 ONNX 模型。
  • 在我的模型中管理模型，包括编辑、删除、刷新和查看详细信息。
  • 启动和停止 ONNX 服务器，并复制本地模型的端点。
  • 在测试某些模型之前，处理其许可和登录要求。
10/03/2025
English 한국어 中文(简体)
© . This site is unofficial and not affiliated with Microsoft.