🚀 在 VS Code 中！

AI 工具包中的模型

AI 工具包支持广泛的生成式 AI 模型。小型语言模型 (SLM) 和大型语言模型 (LLM) 均受支持。

在模型目录中，您可以访问来自各种来源的模型

  • GitHub 托管的模型（Llama3、Phi-3、Mistral 模型）
  • 发布者托管的模型（OpenAI ChatGPT 模型、Anthropic Claude、Google Gemini）
  • 本地下载的模型，例如来自 HuggingFace
  • 本地运行的 Ollama 模型
  • 连接到自带模型

查找模型

要在模型目录中查找模型

  1. 在活动栏中选择 AI 工具包视图

  2. 选择目录 > 模型以打开模型目录

    Select model in model catalog

    在模型目录中选择模型卡片以查看所选模型的更多详细信息。

  3. 使用过滤器减少可用模型的列表

    • 托管方：AI 工具包支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。

    • 发布者：AI 模型的发布者，例如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。

    • 任务：目前仅支持 文本生成。

    • 模型类型：筛选可在 CPU、GPU 或 NPU 上远程或本地运行的模型。此过滤器取决于本地可用性。

    • 微调支持：显示可用于运行微调的模型。

要引用自托管模型或本地运行的 Ollama 模型

  1. 在模型目录中选择+ 添加模型

  2. 在模型快速选择中选择 Ollama 模型或自定义模型

  3. 提供详细信息以添加模型

许可证和登录

某些模型需要发布者或托管服务许可证和帐户才能登录。在这种情况下，在您可以在模型 Playground中运行模型之前，系统会提示您提供此信息。

选择用于测试的模型

AI 工具包使您能够在 Playground 中测试运行模型以进行聊天完成。您可以通过模型目录中模型卡片上的操作获得不同的选项。

  • 在 Playground 中试用：加载所选模型以在 Playground 中进行测试，无需下载
  • 下载：从 Hugging Face 等来源下载模型
  • 在 Playground 中加载：将下载的模型加载到 Playground 中进行聊天

自带模型

AI 工具包的 Playground 也支持远程模型。如果您有可以从 Internet 访问的自托管或已部署模型，您可以将其添加到 AI 工具包并在 Playground 中使用它。

  1. 将鼠标悬停在树视图中的我的模型上，然后选择 + 图标以将远程模型添加到 AI 工具包。
  2. 填写请求的信息，例如模型名称、显示名称、模型托管 URL 和可选的身份验证字符串。

Bring Your Own Models

添加 Ollama 模型

Ollama 使许多流行的 genAI 模型能够通过 GGUF 量化在本地使用 CPU 运行。如果您在本地计算机上安装了 Ollama 并下载了 Ollama 模型，则可以将它们添加到 AI 工具包中以在模型 Playground 中使用。

先决条件

  • AI 工具包 v0.6.2 或更高版本。
  • Ollama（在 Ollama v0.4.1 上测试）

将本地 Ollama 添加到 AI 工具包中

  1. 将鼠标悬停在树视图中的我的模型上，然后选择“+”图标以添加模型

    或者，在模型目录或 Playground 中选择 + 添加模型按钮。

  2. 选择添加 Ollama 模型

    Select model type to add

  3. 接下来，选择从 Ollama 库中选择模型

    如果您在不同的端点启动 Ollama 运行时，请选择提供自定义 Ollama 端点以指定 Ollama 端点。

  4. 选择要添加到 AI 工具包的模型，然后选择确定

    注意

    AI 工具包仅显示已在 Ollama 中下载且尚未添加到 AI 工具包的模型。要从 Ollama 下载模型，您可以运行 ollama pull <模型名称>。要查看 Ollama 支持的模型列表，请参阅 Ollama 库 或参考 Ollama 文档。

  5. 您现在应该在树视图中的模型列表中看到选定的 Ollama 模型。

    注意

    Ollama 模型尚不支持附件。由于我们使用其 OpenAI 兼容端点连接到 Ollama，因此它尚不支持附件。

12/11/2024