探索 AI 工具包中的模型
AI 工具包为各种生成式 AI 模型提供全面的支持，包括小型语言模型 (SLM) 和大型语言模型 (LLM)。
在模型目录中，你可以探索和使用来自多个托管源的模型
- GitHub 上托管的模型，例如 Llama3、Phi-3 和 Mistral，包括按使用量付费选项。
- 发布商直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
- Azure AI Foundry 上托管的模型。
- 从 Ollama 和 ONNX 等存储库本地下载的模型。
- 通过自带模型 (BYOM) 集成可访问的自定义自托管或外部部署模型。
直接从模型目录将模型部署到 Azure AI Foundry，从而简化你的工作流程。
查找模型
在模型目录中查找模型
-
在活动栏中选择“AI 工具包”视图
-
选择“模型”>“目录”以打开模型目录
-
使用筛选器缩小可用模型列表
- 托管方：AI 工具包支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。
- 发布商：AI 模型的发布商，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
- 功能：模型支持的功能，例如
文本附件、图像附件、网页搜索、结构化输出等。 - 模型类型：筛选可以在远程或本地在 CPU、GPU 或 NPU 上运行的模型。此筛选器取决于本地可用性。
- 微调支持：显示可用于运行微调的模型。
-
浏览不同类别的模型，例如
- 流行模型是各种任务和领域中广泛使用的模型的精选列表。
- GitHub 模型提供对 GitHub 上托管的流行模型的轻松访问。它最适合快速原型设计和实验。
- ONNX 模型针对本地执行进行了优化，可以在 CPU、GPU 或 NPU 上运行。
- Ollama 模型是可以使用 Ollama 在本地运行的流行模型，通过 GGUF 量化支持 CPU。
-
或者，使用搜索框按名称或描述查找特定模型
从目录中添加模型
从模型目录中添加模型
-
在模型目录中找到要添加的模型。
-
选择模型卡上的“添加”
-
添加模型的流程将根据提供商略有不同
-
GitHub：AI 工具包要求你提供 GitHub 凭据以访问模型存储库。经过身份验证后，模型将直接添加到 AI 工具包中。
注意AI 工具包现在支持 GitHub 按使用量付费模型，因此你可以在超出免费层限制后继续工作。
-
ONNX：模型从 ONNX 下载并添加到 AI 工具包。
-
Ollama：模型从 Ollama 下载并添加到 AI 工具包。
提示你可以稍后通过右键单击模型并选择“编辑”来编辑 API 密钥，并在
${HOME}/.aikt/models/my-models/yml文件中查看加密值。
-
OpenAI、Anthropic 和 Google：AI 工具包提示你输入 API 密钥。
-
自定义模型：有关详细说明，请参阅添加自定义模型部分。
-
添加后，模型会显示在树状视图中的“我的模型”下，你可以在Playground或Agent Builder中使用它。
添加自定义模型
你还可以添加外部托管或本地运行的自定义模型。有以下几个选项可用
- 从 Ollama 库或自定义 Ollama 终结点添加 Ollama 模型。
- 添加具有 OpenAI 兼容终结点的自定义模型，例如自托管模型或在云服务上运行的模型。
- 使用 AI 工具包的模型转换工具添加自定义 ONNX 模型，例如 Hugging Face 中的模型。
有几个入口点可以将模型添加到 AI 工具包
-
在树状视图中的“我的模型”上，将鼠标悬停在其上并选择
+图标。
-
在“模型目录”中，从工具栏中选择“+ 添加模型”按钮。
-
在模型目录的“添加自定义模型”部分中，选择“+ 添加你自己的模型”。
添加 Ollama 模型
Ollama 支持许多流行的生成式 AI 模型通过 GGUF 量化在本地使用 CPU 运行。如果你的本地计算机上安装了 Ollama 并下载了 Ollama 模型，你可以将它们添加到 AI 工具包中以在模型 Playground 中使用。
在 AI 工具包中使用 Ollama 模型的前提条件
- AI 工具包 v0.6.2 或更高版本。
- Ollama（在 Ollama v0.4.1 上测试）
将本地 Ollama 添加到 AI 工具包中
-
从上述入口点之一中，选择“添加 Ollama 模型”。
-
接下来，选择“从 Ollama 库中选择模型”
如果 Ollama 运行时在不同的终结点启动，请选择“提供自定义 Ollama 终结点”以指定 Ollama 终结点。
-
选择要添加到 AI 工具包的模型，然后选择“确定”
-
你现在应该会在树状视图中的模型列表中看到选定的 Ollama 模型。
注意Ollama 模型尚不支持附件。因为我们使用 Ollama 的OpenAI 兼容终结点连接到 Ollama，而它尚不支持附件。
添加具有 OpenAI 兼容终结点的自定义模型
如果你有自托管或已部署的模型，可以通过 OpenAI 兼容终结点从 Internet 访问，则可以将其添加到 AI 工具包并在 Playground 中使用。
- 从上述入口点之一中，选择“添加自定义模型”。
- 输入 OpenAI 兼容终结点 URL 和所需信息。
添加自托管或本地运行的 Ollama 模型
- 在模型目录中选择“+ 添加模型”。
- 在模型快速选择中，选择“Ollama”或“自定义模型”。
- 输入所需详细信息以添加模型。
添加自定义 ONNX 模型
要添加自定义 ONNX 模型，请先使用模型转换工具将其转换为 AI 工具包模型格式。转换后，将模型添加到 AI 工具包。
将模型部署到 Azure AI Foundry
你可以直接从 AI 工具包将模型部署到 Azure AI Foundry。这允许你在云中运行模型并通过终结点访问它。
-
从模型目录中，选择要部署的模型。
-
选择“部署到 Azure AI Foundry”，可以从下拉菜单中选择，也可以直接从“部署到 Azure AI Foundry”按钮中选择，如下图所示
-
在“模型部署”选项卡中，输入所需信息，例如模型名称、描述和任何其他设置，如下图所示
-
选择“部署到 Azure AI Foundry”以启动部署过程。
-
将出现一个对话框以确认部署。查看详细信息并选择“部署”以继续。
-
部署完成后，模型将在 AI 工具包的“我的模型”部分中可用，你可以在 Playground 或 Agent Builder 中使用它。
选择用于测试的模型
你可以在 Playground 中测试模型的聊天补全。
使用模型目录中模型卡上的操作
- 在 Playground 中尝试：将选定的模型加载到Playground中进行测试。
- 在 Agent Builder 中尝试：将选定的模型加载到Agent Builder中以构建 AI 代理。
管理模型
你可以在 AI 工具包视图的“我的模型”部分中管理模型。你可以在此处
-
查看你已添加到 AI 工具包中的模型列表。
-
右键单击模型以访问选项，例如
- 在 Playground 中加载：将模型加载到Playground中进行测试。
- 复制模型名称：将模型名称复制到剪贴板，以便在其他上下文中使用，例如你的代码集成。
- 刷新：刷新模型配置以确保你拥有最新的设置。
- 编辑：修改模型设置，例如 API 密钥或终结点。
- 删除：从 AI 工具包中删除模型。
- 关于此模型：查看有关模型的详细信息，包括其发布商、源和支持的功能。
-
右键单击
ONNX部分标题以访问选项，例如- 启动服务器：启动 ONNX 服务器以在本地运行 ONNX 模型。
- 停止服务器：如果 ONNX 服务器正在运行，则停止它。
- 复制终结点：将 ONNX 服务器终结点复制到剪贴板，以便在其他上下文中使用，例如你的代码集成。
许可证和登录
某些模型需要发布商或托管服务许可证和帐户才能登录。在这种情况下，在模型 Playground中运行模型之前，系统会提示你提供此信息。
你学到了什么
在本文中，你学习了如何
- 探索和管理 AI 工具包中的生成式 AI 模型。
- 从各种来源查找模型，包括 GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定义终结点。
- 将模型添加到工具包并将它们部署到 Azure AI Foundry。
- 添加自定义模型，包括 Ollama 和 OpenAI 兼容模型，并在 Playground 或 Agent Builder 中测试它们。
- 使用模型目录查看可用模型并选择最适合你的 AI 应用程序需求的模型。
- 使用筛选器和搜索快速查找模型。
- 按类别浏览模型，例如流行模型、GitHub 模型、ONNX 模型和 Ollama 模型。
- 使用模型转换工具转换和添加自定义 ONNX 模型。
- 在“我的模型”中管理模型，包括编辑、删除、刷新和查看详细信息。
- 启动和停止 ONNX 服务器并复制本地模型的终结点。
- 在测试某些模型之前处理其许可证和登录要求。