在 AI 工具包中探索模型
AI 工具包为各种生成式 AI 模型提供全面支持,包括小型语言模型 (SLM) 和大型语言模型 (LLM)。
在模型目录中,你可以探索并使用来自多个托管源的模型
- 托管在 GitHub 上的模型,例如 Llama3、Phi-3 和 Mistral。
- 由发布者直接提供的模型,包括 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
- 从 Ollama 和 ONNX 等存储库本地下载的模型。
- 通过自带模型 (BYOM) 集成可访问的自定义自托管或外部部署模型。
查找模型
在模型目录中查找模型
-
在活动栏中选择 AI 工具包视图
-
选择 模型 > 目录 以打开模型目录
-
使用筛选器缩小可用模型列表
- 托管方:AI 工具包支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。
- 发布者:AI 模型的发布者,例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
- 功能:模型支持的功能,例如
文本附件
、图像附件
、网页搜索
、结构化输出
等。 - 模型类型:筛选可以在 CPU、GPU 或 NPU 上远程或本地运行的模型。此筛选器取决于本地可用性。
- 微调支持:显示可用于运行微调的模型。
-
浏览不同类别的模型,例如
- 热门模型 是一个精选列表,包含在各种任务和领域中广泛使用的模型。
- GitHub 模型 提供对托管在 GitHub 上的热门模型的轻松访问。它最适合快速原型设计和实验。
- ONNX 模型 已针对本地执行进行优化,可以在 CPU、GPU 或 NPU 上运行。
- Ollama 模型 是可以使用 Ollama 本地运行的流行模型,通过 GGUF 量化支持 CPU。
-
或者,使用搜索框按名称或描述查找特定模型
从目录添加模型
从模型目录添加模型
-
在模型目录中找到要添加的模型
-
选择模型卡片上的 添加
-
添加模型的流程会因提供商而略有不同
-
GitHub:AI 工具包会要求你提供 GitHub 凭据以访问模型存储库。验证通过后,模型将直接添加到 AI 工具包中。
-
ONNX:模型从 ONNX 下载并添加到 AI 工具包中。
-
Ollama:模型从 Ollama 下载并添加到 AI 工具包中。
提示你可以稍后右键单击模型并选择 编辑 来修改 API 密钥,并在
${HOME}/.aikt/models/my-models/yml
文件中查看加密值。 -
OpenAI、Anthropic 和 Google:AI 工具包会提示你输入 API 密钥。
-
自定义模型:有关详细说明,请参阅添加自定义模型部分。
-
添加后,模型会出现在树状视图的 我的模型 下,你可以在操场或代理生成器中使用它。
添加自定义模型
你还可以添加外部托管或本地运行的自有模型。有几个可用选项
- 从 Ollama 库或自定义 Ollama 端点添加 Ollama 模型。
- 添加具有 OpenAI 兼容端点的自定义模型,例如自托管模型或在云服务上运行的模型。
- 使用 AI 工具包的模型转换工具添加自定义 ONNX 模型,例如来自 Hugging Face 的模型。
有几个入口点可以将模型添加到 AI 工具包
-
在树状视图的 我的模型 中,将鼠标悬停在其上并选择
+
图标。 -
在 模型目录 中,从工具栏中选择 + 添加模型 按钮。
-
在模型目录的 添加自定义模型 部分中,选择 + 添加你自己的模型。
添加 Ollama 模型
Ollama 支持许多流行的生成式 AI 模型通过 GGUF 量化在 CPU 上本地运行。如果你的本地计算机上安装了 Ollama 并下载了 Ollama 模型,你可以将它们添加到 AI 工具包中,以便在模型操场中使用。
在 AI 工具包中使用 Ollama 模型的先决条件
- AI 工具包 v0.6.2 或更高版本。
- Ollama(在 Ollama v0.4.1 上测试)
将本地 Ollama 添加到 AI 工具包中
-
从上面提到的一个入口点中,选择 添加 Ollama 模型。
-
接下来,选择 从 Ollama 库中选择模型
如果你在不同的端点启动 Ollama 运行时,请选择 提供自定义 Ollama 端点 以指定 Ollama 端点。
-
选择要添加到 AI 工具包中的模型,然后选择 确定
-
现在,你应在树状视图的模型列表中看到所选的 Ollama 模型。
注意Ollama 模型尚不支持附件。因为我们使用 Ollama 的OpenAI 兼容端点连接到它,而该端点尚不支持附件。
添加具有 OpenAI 兼容端点的自定义模型
如果你有一个自托管或已部署的模型,可以通过互联网使用 OpenAI 兼容端点访问,则可以将其添加到 AI 工具包并在操场中使用。
- 从上面的一个入口点中,选择 添加自定义模型。
- 输入 OpenAI 兼容端点 URL 和所需信息。
添加自托管或本地运行的 Ollama 模型
- 在模型目录中选择 + 添加模型。
- 在模型快速选择中,选择 Ollama 或 自定义模型。
- 输入所需详细信息以添加模型。
添加自定义 ONNX 模型
要添加自定义 ONNX 模型,请首先使用模型转换工具将其转换为 AI 工具包模型格式。转换后,将模型添加到 AI 工具包。
选择一个模型进行测试
你可以在操场中测试模型的聊天补全功能。
使用模型目录中模型卡片上的操作
管理模型
你可以在 AI 工具包视图的 我的模型 部分管理模型。在这里你可以
-
查看已添加到 AI 工具包中的模型列表。
-
右键单击模型以访问以下选项,例如
- 在操场中加载:在操场中加载模型进行测试。
- 复制模型名称:将模型名称复制到剪贴板,以便在其他上下文中使用,例如你的代码集成。
- 刷新:刷新模型配置以确保你拥有最新的设置。
- 编辑:修改模型设置,例如 API 密钥或端点。
- 删除:从 AI 工具包中删除模型。
- 关于此模型:查看有关模型的详细信息,包括其发布者、来源和支持的功能。
-
右键单击
ONNX
部分标题以访问以下选项,例如- 启动服务器:启动 ONNX 服务器以在本地运行 ONNX 模型。
- 停止服务器:如果 ONNX 服务器正在运行,则停止它。
- 复制端点:将 ONNX 服务器端点复制到剪贴板,以便在其他上下文中使用,例如你的代码集成。
许可证和登录
某些模型需要发布者或托管服务许可证和帐户才能登录。在这种情况下,在你可以在模型操场中运行模型之前,系统会提示你提供此信息。