AI Toolkit 中的模型

AI Toolkit 支持广泛的生成式 AI 模型。同时支持小型语言模型 (SLM) 和大型语言模型 (LLM)。

在模型目录中，您可以访问来自各种来源的模型

• GitHub 托管模型（Llama3、Phi-3、Mistral 模型）
• 发布者托管模型（OpenAI ChatGPT 模型、Anthropic Claude、Google Gemini）
• 本地下载的模型，例如来自 HuggingFace
• 本地运行的 Ollama 模型
• 连接到自带模型

查找模型

要在模型目录中查找模型

1. 选择活动栏中的 AI Toolkit 视图

2. 选择 CATALOG > Models 打开模型目录

   

   在模型目录中选择一个模型卡，以查看所选模型的更多详细信息。

3. 使用过滤器来缩小可用模型的列表

   • 托管者：AI Toolkit 支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。

   • 发布者：AI 模型的发布者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。

   • 任务：目前，仅支持 Text Generation。

   • 模型类型：过滤可以在 CPU、GPU 或 NPU 上远程或本地运行的模型。此过滤器取决于本地可用性。

   • 微调支持：显示可用于运行微调的模型。

要引用自托管模型或本地运行的 Ollama 模型

1. 在模型目录中选择 + Add model

2. 在模型快速选择中选择 Ollama 或自定义模型

3. 提供详细信息以添加模型

许可证和登录

某些模型需要发布者或托管服务的许可证和帐户才能登录。在这种情况下，在您可以在模型游乐场中运行模型之前，系统会提示您提供此信息。

选择一个模型进行测试

AI Toolkit 使您能够在游乐场中试运行模型以进行聊天补全。您可以通过模型目录中模型卡上的操作获得不同的选项。

• 在游乐场中试用：在游乐场中加载所选模型进行测试，无需下载
• 下载：从 Hugging Face 等源下载模型
• 加载到游乐场：将下载的模型加载到游乐场中进行聊天

自带模型

AI Toolkit 的游乐场也支持远程模型。如果您有可从互联网访问的自托管或已部署的模型，您可以将其添加到 AI Toolkit 并在游乐场中使用它。

1. 将鼠标悬停在树视图中的 MY MODELS 上，然后选择 + 图标以向 AI Toolkit 添加远程模型。
2. 填写所需信息，例如模型名称、显示名称、模型托管 URL 和可选的身份验证字符串。

添加 Ollama 模型

Ollama 通过 GGUF 量化使许多流行的生成式 AI 模型能够使用 CPU 在本地运行。如果您已在本地计算机上安装了 Ollama 并下载了 Ollama 模型，您可以将它们添加到 AI Toolkit 中，以便在模型游乐场中使用。

前提条件

• AI Toolkit v0.6.2 或更高版本。
• Ollama（在 Ollama v0.4.1 上测试）

将本地 Ollama 添加到 AI Toolkit

1. 将鼠标悬停在树视图中的 MY MODELS 上，然后选择“+”图标以添加模型

   或者，选择模型目录或游乐场中的 + Add model 按钮。

2. 选择 Add an Ollama model

   

3. 接下来，选择 Select models from Ollama library

   如果您在不同的端点启动 Ollama 运行时，请选择 Provide custom Ollama endpoint 以指定 Ollama 端点。

4. 选择要添加到 AI Toolkit 的模型，然后选择 OK

   注意

   AI Toolkit 仅显示已在 Ollama 中下载且尚未添加到 AI Toolkit 的模型。要从 Ollama 下载模型，您可以运行 ollama pull <model-name>。要查看 Ollama 支持的模型列表，请参阅 Ollama 库或参考 Ollama 文档。

5. 现在您应该可以在树视图中的模型列表中看到选定的 Ollama 模型。

   注意

   Ollama 模型尚不支持附件。因为我们使用其兼容 OpenAI 的端点连接到 Ollama，而该端点尚不支持附件。