在 AI 工具包中探索模型
AI 工具包为各种生成式 AI 模型提供全面支持，包括小型语言模型 (SLM) 和大型语言模型 (LLM)。
在模型目录中，您可以探索和使用来自多个托管源的模型
- 托管在 GitHub 上的模型，例如 Llama3、Phi-3 和 Mistral，包括按需付费选项。
- 由出版商直接提供的模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
- 托管在 Azure AI Foundry 上的模型。
- 从 Ollama 和 ONNX 等存储库本地下载的模型。
- 通过自带模型 (BYOM) 集成可访问的自定义自托管或外部部署模型。
直接从模型目录将模型部署到 Azure AI Foundry，从而简化您的工作流程。
将 Azure AI Foundry、Foundry Local 和 GitHub 模型添加到 AI 工具包中，与 GitHub Copilot 一起使用。有关更多信息，请查看更改聊天对话的模型。
查找模型
在模型目录中查找模型
-
在活动栏中选择 AI 工具包视图
-
选择模型 > 目录以打开模型目录
-
使用筛选器减少可用模型列表
- 托管方：AI 工具包支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。
- 发布商：AI 模型的发布商，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
- 功能：模型支持的功能，例如
文本附件、图像附件、网络搜索、结构化输出等。 - 模型类型：筛选可以在 CPU、GPU 或 NPU 上远程或本地运行的模型。此筛选器取决于本地可用性。
- 微调支持：显示可用于运行微调的模型。
-
浏览不同类别的模型，例如
- 热门模型是各种任务和领域中广泛使用的模型的精选列表。
- GitHub 模型提供对托管在 GitHub 上的流行模型的轻松访问。它最适合快速原型设计和实验。
- ONNX 模型针对本地执行进行了优化，可以在 CPU、GPU 或 NPU 上运行。
- Ollama 模型是可以使用 Ollama 本地运行的流行模型，通过 GGUF 量化支持 CPU。
-
或者，使用搜索框按名称或描述查找特定模型
从目录中添加模型
从模型目录中添加模型
-
在模型目录中找到您要添加的模型。
-
选择模型卡上的添加
-
添加模型的流程将根据提供商略有不同
-
GitHub：AI 工具包要求您提供 GitHub 凭据才能访问模型存储库。通过身份验证后，模型将直接添加到 AI 工具包中。
注意AI 工具包现在支持 GitHub 按需付费模型，因此您可以在超出免费层限制后继续工作。
-
ONNX：模型从 ONNX 下载并添加到 AI 工具包中。
-
Ollama：模型从 Ollama 下载并添加到 AI 工具包中。
提示您可以通过右键单击模型并选择编辑来稍后编辑 API 密钥，并在
${HOME}/.aikt/models/my-models/yml文件中查看加密值。
-
OpenAI、Anthropic 和 Google：AI 工具包提示您输入 API 密钥。
-
自定义模型：有关详细说明，请参阅添加自定义模型部分。
-
添加后，模型将显示在树视图的我的模型下，您可以在Playground或Agent Builder中使用它。
添加自定义模型
您还可以添加托管在外部或本地运行的自有模型。有几个可用选项
- 从 Ollama 库或自定义 Ollama 端点添加 Ollama 模型。
- 添加具有 OpenAI 兼容端点的自定义模型，例如自托管模型或在云服务上运行的模型。
- 使用 AI 工具包的模型转换工具添加自定义 ONNX 模型，例如来自 Hugging Face 的模型。
有几个入口点可以将模型添加到 AI 工具包中
-
在树视图的我的模型中，将鼠标悬停在其上并选择
+图标。
-
从模型目录中，选择工具栏中的+ 添加模型按钮。
-
在模型目录的添加自定义模型部分中，选择+ 添加您的自有模型。
添加 Ollama 模型
Ollama 使许多流行的生成式 AI 模型能够通过 GGUF 量化在本地使用 CPU 运行。如果您在本地机器上安装了 Ollama 并下载了 Ollama 模型，您可以将它们添加到 AI 工具包中以在模型 Playground 中使用。
在 AI 工具包中使用 Ollama 模型的先决条件
- AI 工具包 v0.6.2 或更高版本。
- Ollama（在 Ollama v0.4.1 上测试）
将本地 Ollama 添加到 AI 工具包中
-
从上述入口点之一中，选择添加 Ollama 模型。
-
接下来，选择从 Ollama 库中选择模型
如果您在不同的端点启动 Ollama 运行时，请选择提供自定义 Ollama 端点以指定 Ollama 端点。
-
选择您要添加到 AI 工具包的模型，然后选择确定
-
您现在应该在树视图的模型列表中看到选定的 Ollama 模型。
注意Ollama 模型尚不支持附件。因为我们使用其OpenAI 兼容端点连接到 Ollama，并且它尚不支持附件。
添加具有 OpenAI 兼容端点的自定义模型
如果您有自托管或已部署的模型，可通过互联网访问且具有 OpenAI 兼容端点，您可以将其添加到 AI 工具包并在 Playground 中使用。
- 从上述入口点之一中，选择添加自定义模型。
- 输入 OpenAI 兼容端点 URL 和所需信息。
添加自托管或本地运行的 Ollama 模型
- 在模型目录中选择+ 添加模型。
- 在模型快速选择中，选择Ollama或自定义模型。
- 输入所需详细信息以添加模型。
添加自定义 ONNX 模型
要添加自定义 ONNX 模型，请首先使用模型转换工具将其转换为 AI 工具包模型格式。转换后，将模型添加到 AI 工具包中。
将模型部署到 Azure AI Foundry
您可以直接从 AI 工具包将模型部署到 Azure AI Foundry。这使您可以在云中运行模型并通过端点访问它。
-
从模型目录中，选择要部署的模型。
-
选择部署到 Azure AI Foundry，可以从下拉菜单中选择，也可以直接从部署到 Azure AI Foundry按钮中选择，如下图所示
-
在模型部署选项卡中，输入所需信息，例如模型名称、描述和任何其他设置，如下图所示
-
选择部署到 Azure AI Foundry以开始部署过程。
-
将出现一个对话框以确认部署。查看详细信息并选择部署以继续。
-
部署完成后，模型将出现在 AI 工具包的我的模型部分中，您可以在 Playground 或 Agent Builder 中使用它。
选择一个模型进行测试
您可以在 Playground 中测试模型的聊天完成情况。
使用模型目录中模型卡上的操作
- 在 Playground 中试用：加载所选模型以在Playground中进行测试。
- 在 Agent Builder 中试用：在Agent Builder中加载所选模型以构建 AI 代理。
管理模型
您可以在 AI 工具包视图的我的模型部分管理您的模型。在这里您可以
-
查看您已添加到 AI 工具包的模型列表。
-
右键单击模型以访问选项，例如
- 在 Playground 中加载：在Playground中加载模型进行测试。
- 复制模型名称：将模型名称复制到剪贴板，以便在其他上下文中使用，例如您的代码集成。
- 刷新：刷新模型配置以确保您拥有最新设置。
- 编辑：修改模型设置，例如 API 密钥或端点。
- 删除：从 AI 工具包中删除模型。
- 关于此模型：查看有关模型的详细信息，包括其发布商、来源和支持的功能。
-
右键单击
ONNX部分标题以访问选项，例如- 启动服务器：启动 ONNX 服务器以本地运行 ONNX 模型。
- 停止服务器：如果 ONNX 服务器正在运行，则停止它。
- 复制端点：将 ONNX 服务器端点复制到剪贴板，以便在其他上下文中使用，例如您的代码集成。
许可证和登录
某些模型需要发布商或托管服务许可证和帐户才能登录。在这种情况下，在您可以在模型 Playground中运行模型之前，系统会提示您提供此信息。
您学到了什么
在本文中，您学习了如何
- 在 AI 工具包中探索和管理生成式 AI 模型。
- 查找来自各种来源的模型，包括 GitHub、ONNX、OpenAI、Anthropic、Google、Ollama 和自定义端点。
- 将模型添加到您的工具包并将其部署到 Azure AI Foundry。
- 添加自定义模型，包括 Ollama 和 OpenAI 兼容模型，并在 Playground 或 Agent Builder 中进行测试。
- 使用模型目录查看可用模型并选择最适合您的 AI 应用程序需求的模型。
- 使用筛选器和搜索快速查找模型。
- 按类别浏览模型，例如热门、GitHub、ONNX 和 Ollama。
- 使用模型转换工具转换和添加自定义 ONNX 模型。
- 在我的模型中管理模型，包括编辑、删除、刷新和查看详细信息。
- 启动和停止 ONNX 服务器并复制本地模型的端点。
- 在测试模型之前处理某些模型的许可证和登录要求。