🚀 在 VS Code 中！

LanguageModelTool API

在本扩展指南中，你将学习如何创建语言模型工具以及如何在聊天扩展中实现工具调用。

什么是 LLM 中的工具调用？

工具调用使您能够通过将大型语言模型 (LLM) 连接到外部工具和系统来扩展其功能，以执行超出文本处理的任务。

语言模型工具是一个可以作为语言模型请求一部分调用的函数。例如，你可能有一个从数据库检索信息、查找文件或执行某些计算的函数。你可以在你的扩展中实现语言模型工具，或者使用来自其他扩展的公开可用工具。

LLM 永远不会实际执行工具本身，而是 LLM 生成可用于调用你的工具的参数，然后你的代码可以选择如何通过调用指示的函数来处理。你的扩展始终完全控制工具调用过程。

在 OpenAI 文档中阅读有关函数调用的更多信息。

为什么使用工具调用？

在聊天扩展中，你可能希望使用工具调用的多种场景。一些示例包括

  • 让 LLM 动态请求更多上下文。例如，你可以使用工具从数据库检索信息，或查找相关文件。
  • 让 LLM 动态执行某些操作。LLM 本身无法执行计算或调用其他系统。例如，使用工具运行终端命令并将输出返回给 LLM。
  • 连接由另一个 VS Code 扩展贡献的一些上下文/行为。例如，你可能有一个工具，它使用 Git 扩展来检索有关当前存储库的信息。

工具调用流程

聊天扩展中的工具调用流程如下

  1. 检索相关工具列表

  2. 将请求发送到 LLM，并提供要考虑的工具定义列表

  3. LLM 生成响应，其中可能包含一个或多个调用工具的请求

  4. 使用 LLM 响应中提供的参数值调用工具

  5. 向 LLM 发送另一个请求，包括工具结果

  6. LLM 生成最终用户响应，其中可能包含工具响应

    如果 LLM 响应包含更多工具调用请求，请重复步骤 4-6，直到没有更多工具请求。

使用聊天扩展库实现工具调用

你可以使用@vscode/chat-extension-utils 库来简化在聊天扩展中调用工具的过程。

在你的聊天参与者的 vscode.ChatRequestHandler 函数中实现工具调用。

  1. 确定当前聊天上下文的相关工具。你可以使用 vscode.lm.tools 访问所有可用工具。

    以下代码片段显示了如何过滤工具，使其仅包含具有特定标签的工具。

    const tools =
  request.command === 'all'
    ? vscode.lm.tools
    : vscode.lm.tools.filter(tool => tool.tags.includes('chat-tools-sample'));

  2. 通过使用 sendChatParticipantRequest 将请求和工具定义发送到 LLM。

    const libResult = chatUtils.sendChatParticipantRequest(
  request,
  chatContext,
  {
    prompt: 'You are a cat! Answer as a cat.',
    responseStreamOptions: {
      stream,
      references: true,
      responseText: true
    },
    tools
  },
  token
);

    ChatHandlerOptions 对象具有以下属性

    • prompt：（可选）聊天参与者提示的说明。
    • model：（可选）用于请求的模型。如果未指定，则使用聊天上下文中的模型。
    • tools：（可选）要考虑用于请求的工具列表。
    • requestJustification：（可选）描述请求原因的字符串。
    • responseStreamOptions：（可选）启用 sendChatParticipantRequest 以将响应流回 VS Code。可选地，你还可以启用引用和/或响应文本。

  3. 从 LLM 返回结果。这可能包含错误详细信息或工具调用元数据。

    return await libResult.result;

此工具调用示例的完整源代码在 VS Code 扩展示例存储库中提供。

自行实现工具调用

对于更高级的场景，你也可以自行实现工具调用。可选地，你可以使用 @vscode/prompt-tsx 库来制作 LLM 提示。通过自行实现工具调用，你可以更好地控制工具调用过程。例如，在将工具响应发送到 LLM 之前执行额外的验证或以特定方式处理工具响应。

在 VS Code 扩展示例存储库中查看使用 prompt-tsx 实现工具调用的完整源代码。

创建语言模型工具

在调用工具时，你可以调用其他扩展贡献的公开可用的语言模型工具，或者你可以创建自己的工具。当你创建工具时，你可以选择是否在 VS Code API 中注册它，或者只是在你的扩展中将其用作私有工具。

当你使用 VS Code API 发布工具时，该工具对所有扩展都可用。

决定注册工具还是将其用作私有工具

如果满足以下条件，请在 VS Code API 中注册工具

  • 该工具对其他扩展有意义，并且可以在不针对特定工具进行特殊处理的情况下使用
  • 扩展需要提供进度消息和确认

如果满足以下条件，请使用私有工具

  • 该工具无法公开，例如因为它特定于你的公司或检索非公开数据
  • 该工具需要一些特殊处理并且特定于你的扩展

实现语言模型工具

要实现语言模型工具

  1. 在 package.json 中的 contributes 属性中定义工具

    以下示例显示了如何定义一个工具，该工具计算选项卡组中活动选项卡的数量。

    "contributes": {
    "languageModelTools": [
        {
            "name": "chat-tools-sample_tabCount",
            "tags": [
                "editors",
                "chat-tools-sample"
            ],
            "toolReferenceName": "tabCount",
            "displayName": "Tab Count",
            "modelDescription": "The number of active tabs in a tab group",
            "icon": "$(files)",
            "inputSchema": {
                "type": "object",
                "properties": {
                    "tabGroup": {
                        "type": "number",
                        "description": "The index of the tab group to check. This is optional- if not specified, the active tab group will be checked.",
                        "default": 0
                    }
                }
            }
        }
    ]
}

    语言模型工具具有以下属性

    • name：工具的唯一名称。这用于在扩展实现代码中引用该工具。
    • tags：描述工具的标签数组。这用于过滤与特定请求相关的工具列表。
    • toolReferenceName：如果启用，则用户可以通过 # 在聊天提示中引用工具的名称。
    • displayName：工具的用户友好名称，用于在 UI 中显示。
    • modelDescription：工具的描述，语言模型可以使用它来选择工具。
    • icon：要在 UI 中为工具显示的图标。
    • inputSchema：描述工具的输入参数的 JSON 模式。语言模型使用它来为工具调用提供参数值。

  2. （可选）使用 vscode.lm.registerTool 注册工具

    如果要发布该工具以供其他扩展使用，则必须使用 vscode.lm.registerTool API 注册该工具。提供你在 package.json 文件中指定的工具名称。

    export function registerChatTools(context: vscode.ExtensionContext) {
  context.subscriptions.push(
    vscode.lm.registerTool('chat-tools-sample_tabCount', new TabCountTool())
  );
}

  3. 通过实现 vscode.LanguageModelTool<> 接口来实现语言模型工具。

    • 实现 prepareInvocation 以提供工具调用的确认消息。

      以下示例显示了如何为选项卡计数工具提供确认消息。

      async prepareInvocation(
    options: vscode.LanguageModelToolInvocationPrepareOptions<ITabCountParameters>,
    _token: vscode.CancellationToken
) {
    const confirmationMessages = {
        title: 'Count the number of open tabs',
        message: new vscode.MarkdownString(
            `Count the number of open tabs?` +
            (options.input.tabGroup !== undefined
                ? ` in tab group ${options.input.tabGroup}`
                : '')
        ),
    };

    return {
        invocationMessage: 'Counting the number of tabs',
        confirmationMessages,
    };
}

    • 定义一个描述工具输入参数的接口。此接口在 invoke 方法中使用。

      以下示例显示了选项卡计数工具的接口。

      export interface ITabCountParameters {
  tabGroup?: number;
}

    • 实现 invoke，当调用工具时会调用它。它在 options 参数中接收工具输入参数。

      以下示例显示了选项卡计数工具的实现。工具的结果是 vscode.LanguageModelToolResult 类型的实例。

      async invoke(
    options: vscode.LanguageModelToolInvocationOptions<ITabCountParameters>,
    _token: vscode.CancellationToken
) {
    const params = options.input;
    if (typeof params.tabGroup === 'number') {
        const group = vscode.window.tabGroups.all[Math.max(params.tabGroup - 1, 0)];
        const nth =
            params.tabGroup === 1
                ? '1st'
                : params.tabGroup === 2
                    ? '2nd'
                    : params.tabGroup === 3
                        ? '3rd'
                        : `${params.tabGroup}th`;
        return new vscode.LanguageModelToolResult([new vscode.LanguageModelTextPart(`There are ${group.tabs.length} tabs open in the ${nth} tab group.`)]);
    } else {
        const group = vscode.window.tabGroups.activeTabGroup;
        return new vscode.LanguageModelToolResult([new vscode.LanguageModelTextPart(`There are ${group.tabs.length} tabs open.`)]);
    }
}

在 VS Code 扩展示例存储库中查看实现语言模型工具的完整源代码。

开始使用

相关内容

03/05/2025