探索 AI Toolkit 中的模型
AI Toolkit 为各种生成式 AI 模型提供全面支持，包括小型语言模型 (SLM) 和大型语言模型 (LLM)。
在模型目录中，您可以探索和使用来自多个托管源的模型
- 托管在 GitHub 上的模型，例如 Llama3、Phi-3 和 Mistral，包括按使用量付费选项。
- 由发布商直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
- 托管在 Azure AI Foundry 上的模型。
- 从 Ollama 和 ONNX 等仓库本地下载的模型。
- 通过自带模型 (BYOM) 集成可访问的自定义自托管或外部部署模型。
直接从模型目录将模型部署到 Azure AI Foundry，从而简化您的工作流程。
查找模型
要在模型目录中查找模型
-
在活动栏中选择 AI Toolkit 视图
-
选择 模型 > 目录 以打开模型目录
-
使用筛选器减少可用模型的列表
- 托管方：AI Toolkit 支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。
- 发布商：AI 模型的发布商，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
- 功能：模型支持的功能，例如
文本附件、图像附件、网络搜索、结构化输出等。 - 模型类型：筛选可以在 CPU、GPU 或 NPU 上远程或本地运行的模型。此筛选器取决于本地可用性。
- 微调支持：显示可用于运行微调的模型。
-
按不同类别浏览模型，例如
- 热门模型 是跨各种任务和领域广泛使用的模型的精选列表。
- GitHub 模型 提供对托管在 GitHub 上的热门模型的轻松访问。它最适合快速原型设计和实验。
- ONNX 模型 针对本地执行进行了优化，可以在 CPU、GPU 或 NPU 上运行。
- Ollama 模型 是可以通过 Ollama 在本地运行的热门模型，通过 GGUF 量化支持 CPU。
-
或者，使用搜索框按名称或描述查找特定模型
从目录添加模型
要从模型目录添加模型
-
在模型目录中找到要添加的模型。
-
选择模型卡上的 添加
-
添加模型的流程会因提供商而略有不同
-
GitHub：AI Toolkit 会请求您的 GitHub 凭据以访问模型仓库。身份验证后，模型将直接添加到 AI Toolkit。
注意AI Toolkit 现在支持 GitHub 按使用量付费模型，因此您可以在超出免费层限制后继续工作。
-
ONNX：模型从 ONNX 下载并添加到 AI Toolkit。
-
Ollama：模型从 Ollama 下载并添加到 AI Toolkit。
提示您可以稍后通过右键单击模型并选择 编辑 来编辑 API 密钥，并在
${HOME}/.aikt/models/my-models/yml文件中查看加密值。
-
OpenAI、Anthropic 和 Google：AI Toolkit 会提示您输入 API 密钥。
-
自定义模型：有关详细说明，请参阅添加自定义模型部分。
-
添加后，模型会出现在树状视图的 我的模型 下，您可以在Playground 或Agent Builder 中使用它。
添加自定义模型
您还可以添加自己的外部托管或本地运行的模型。有几种可用的选项
- 从 Ollama 库或自定义 Ollama 端点添加 Ollama 模型。
- 添加具有 OpenAI 兼容端点的自定义模型，例如自托管模型或在云服务上运行的模型。
- 使用 AI Toolkit 的模型转换工具添加自定义 ONNX 模型，例如来自 Hugging Face 的模型。
有几个入口点可以将模型添加到 AI Toolkit
-
在树状视图中，将鼠标悬停在 我的模型 上，然后选择
+图标。
-
在 模型目录 中，从工具栏中选择 + 添加模型 按钮。
-
在模型目录的 添加自定义模型 部分中，选择 + 添加您自己的模型。
添加 Ollama 模型
Ollama 允许许多流行的生成式 AI 模型通过 GGUF 量化在 CPU 上本地运行。如果您的本地计算机上安装了 Ollama 并下载了 Ollama 模型，您可以将它们添加到 AI Toolkit 以在模型 Playground 中使用。
在 AI Toolkit 中使用 Ollama 模型的先决条件
- AI Toolkit v0.6.2 或更高版本。
- Ollama（在 Ollama v0.4.1 上测试）
将本地 Ollama 添加到 AI Toolkit
-
从上面提到的一个入口点，选择 添加 Ollama 模型。
-
接下来，选择 从 Ollama 库中选择模型
如果您在不同的端点启动 Ollama 运行时，请选择 提供自定义 Ollama 端点 以指定 Ollama 端点。
-
选择要添加到 AI Toolkit 的模型，然后选择 确定
-
您现在应该会在树状视图中的模型列表中看到选定的 Ollama 模型。
注意Ollama 模型目前不支持附件。因为我们使用 Ollama 的OpenAI 兼容端点连接到 Ollama，而该端点尚不支持附件。
添加具有 OpenAI 兼容端点的自定义模型
如果您有可从 Internet 访问的、具有 OpenAI 兼容端点的自托管或部署模型，您可以将其添加到 AI Toolkit 并在 Playground 中使用。
- 从上面的一个入口点，选择 添加自定义模型。
- 输入 OpenAI 兼容的端点 URL 和所需信息。
添加自托管或本地运行的 Ollama 模型
- 在模型目录中选择 + 添加模型。
- 在模型快速选择中，选择 Ollama 或 自定义模型。
- 输入所需详细信息以添加模型。
添加自定义 ONNX 模型
要添加自定义 ONNX 模型，首先使用模型转换工具将其转换为 AI Toolkit 模型格式。转换后，将模型添加到 AI Toolkit。
将模型部署到 Azure AI Foundry
您可以直接从 AI Toolkit 将模型部署到 Azure AI Foundry。这允许您在云中运行模型并通过端点访问它。
-
从模型目录中，选择要部署的模型。
-
选择 部署到 Azure AI Foundry，可以从下拉菜单中选择，也可以直接从 部署到 Azure AI Foundry 按钮选择，如下图所示
-
在 模型部署 选项卡中，输入所需信息，例如模型名称、描述和任何其他设置，如下图所示
-
选择 部署到 Azure AI Foundry 以开始部署过程。
-
将出现一个对话框以确认部署。查看详细信息并选择 部署 以继续。
-
部署完成后，模型将在 AI Toolkit 的 我的模型 部分中可用，您可以在 Playground 或 Agent Builder 中使用它。
选择一个模型进行测试
您可以在 Playground 中测试模型的聊天完成情况。
使用模型目录中模型卡上的操作
- 在 Playground 中试用：加载选定的模型以在Playground 中进行测试。
- 在 Agent Builder 中试用：在Agent Builder 中加载选定的模型以构建 AI 代理。
管理模型
您可以在 AI Toolkit 视图的 我的模型 部分管理您的模型。在这里您可以
-
查看您已添加到 AI Toolkit 的模型列表。
-
右键单击模型以访问以下选项
- 在 Playground 中加载：在Playground 中加载模型以进行测试。
- 复制模型名称：将模型名称复制到剪贴板，以便在其他上下文中使用，例如您的代码集成。
- 刷新：刷新模型配置以确保您拥有最新设置。
- 编辑：修改模型设置，例如 API 密钥或端点。
- 删除：从 AI Toolkit 中删除模型。
- 关于此模型：查看有关模型的详细信息，包括其发布商、来源和支持的功能。
-
右键单击
ONNX部分标题以访问以下选项- 启动服务器：启动 ONNX 服务器以在本地运行 ONNX 模型。
- 停止服务器：如果 ONNX 服务器正在运行，则停止它。
- 复制端点：将 ONNX 服务器端点复制到剪贴板，以便在其他上下文中使用，例如您的代码集成。
许可和登录
某些模型需要发布商或托管服务许可证和帐户才能登录。在这种情况下，在您可以在模型 Playground 中运行模型之前，系统会提示您提供此信息。
您学到了什么
在本文中，您学习了如何
- 在 AI Toolkit 中探索和管理生成式 AI 模型。
- 从各种来源查找模型，包括 GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定义端点。
- 将模型添加到您的工具包并将其部署到 Azure AI Foundry。
- 添加自定义模型，包括 Ollama 和 OpenAI 兼容模型，并在 Playground 或 Agent Builder 中进行测试。
- 使用模型目录查看可用模型并选择最适合您的 AI 应用程序需求的模型。
- 使用筛选器和搜索快速查找模型。
- 按类别浏览模型，例如热门、GitHub、ONNX 和 Ollama。
- 使用模型转换工具转换和添加自定义 ONNX 模型。
- 在“我的模型”中管理模型，包括编辑、删除、刷新和查看详细信息。
- 启动和停止 ONNX 服务器并复制本地模型的端点。
- 在测试某些模型之前处理其许可证和登录要求。