在 VS Code 中试用！

AI 工具包中的模型

AI 工具包支持广泛的生成式 AI 模型。支持小型语言模型 (SLM) 和大型语言模型 (LLM)。

在模型目录中，你可以从各种来源访问模型

  • GitHub 托管模型（Llama3、Phi-3、Mistral 模型）
  • 发布商托管模型（OpenAI ChatGPT 模型、Anthropic Claude、Google Gemini）
  • 本地下载的模型，例如来自 HuggingFace 的模型
  • 本地运行的 Ollama 模型
  • 连接到自带模型

查找模型

在模型目录中查找模型

  1. 在活动栏中选择 AI 工具包视图

  2. 选择 CATALOG > Models 以打开模型目录

    Select model in model catalog

    在模型目录中选择模型卡以查看所选模型的更多详细信息。

  3. 使用筛选器缩小可用模型的列表

    • 托管者：AI 工具包支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。

    • 发布者：AI 模型的发布者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。

    • 任务：目前仅支持 文本生成。

    • 模型类型：筛选可以在 CPU、GPU 或 NPU 上远程或本地运行的模型。此筛选器取决于本地可用性。

    • 微调支持：显示可用于运行微调的模型。

要引用自托管模型或本地运行的 Ollama 模型

  1. 在模型目录中选择 + 添加模型

  2. 在模型快速选择中选择 Ollama 或自定义模型

  3. 提供详细信息以添加模型

许可证和登录

某些模型需要发布商或托管服务的许可证和帐户才能登录。在这种情况下，在模型 试验场 中运行模型之前，系统会提示你提供此信息。

选择要测试的模型

AI 工具包支持你在试验场中测试运行模型以完成聊天。你可以通过模型目录中模型卡上的操作获得不同的选项。

  • 在试验场中试用：将所选模型加载到试验场中进行测试，无需下载
  • 下载：从 Hugging Face 等来源下载模型
  • 加载到试验场：将下载的模型加载到试验场中进行聊天

自带模型

AI 工具包的试验场还支持远程模型。如果你有自托管或已部署且可通过互联网访问的模型，可以将其添加到 AI 工具包并在试验场中使用。

  1. 将鼠标悬停在树视图中的 MY MODELS 上，然后选择 + 图标以将远程模型添加到 AI 工具包。
  2. 填写所需信息，例如模型名称、显示名称、模型托管 URL 和可选的身份验证字符串。

Bring Your Own Models

添加 Ollama 模型

Ollama 支持许多流行的生成式 AI 模型通过 GGUF 量化在本地使用 CPU 运行。如果你在本地计算机上安装了 Ollama 并下载了 Ollama 模型，则可以将其添加到 AI 工具包并在模型试验场中使用。

先决条件

  • AI 工具包 v0.6.2 或更高版本。
  • Ollama（在 Ollama v0.4.1 上测试）

将本地 Ollama 添加到 AI 工具包

  1. 将鼠标悬停在树视图中的 MY MODELS 上，然后选择“+”图标以添加模型

    或者，在模型目录或试验场中选择 + 添加模型按钮。

  2. 选择 添加 Ollama 模型

    Select model type to add

  3. 接下来，选择 从 Ollama 库中选择模型

    如果从不同的终结点启动 Ollama 运行时，请选择 提供自定义 Ollama 终结点 以指定 Ollama 终结点。

  4. 选择要添加到 AI 工具包的模型，然后选择 确定

    注意

    AI 工具包仅显示已在 Ollama 中下载但尚未添加到 AI 工具包的模型。要从 Ollama 下载模型，可以运行 ollama pull <model-name>。若要查看 Ollama 支持的模型列表，请参阅 Ollama 库 或参阅 Ollama 文档。

  5. 现在，你应在树视图的模型列表中看到所选的 Ollama 模型。

    注意

    Ollama 模型尚不支持附件。因为我们使用其 OpenAI 兼容终结点 连接到 Ollama，并且它尚不支持附件。

12/11/2024