语言模型聊天提供商 API

语言模型聊天提供商 API 使您能够为 Visual Studio Code 中的聊天贡献自己的语言模型。

重要

通过此 API 提供的模型目前仅适用于拥有 GitHub Copilot 个人套餐的用户。

概述

LanguageModelChatProvider 接口遵循一对提供商对多模型的关系，使提供商能够提供多个模型。每个提供商负责

发现并准备可用的语言模型
处理其模型的聊天请求
提供令牌计数功能

语言模型信息

每个语言模型必须通过 LanguageModelChatInformation 接口提供元数据。provideLanguageModelChatInformation 方法返回这些对象的数组，以告知 VS Code 有关可用模型的信息。

interface LanguageModelChatInformation {
  readonly id: string; // Unique identifier for the model - unique within the provider
  readonly name: string; // Human-readable name of the language model - shown in the model picker
  readonly family: string; // Model family name
  readonly version: string; // Version string
  readonly maxInputTokens: number; // Maximum number of tokens the model can accept as input
  readonly maxOutputTokens: number; // Maximum number of tokens the model is capable of producing
  readonly tooltip?: string; // Optional tooltip text when hovering the model in the UI
  readonly detail?: string; // Human-readable text that is rendered alongside the model
  readonly capabilities: {
    readonly imageInput?: boolean; // Supports image inputs
    readonly toolCalling?: boolean | number; // Supports tool calling
  };
}

注册提供商

第一步是在您的 package.json 的 contributes.languageModelChatProviders 部分注册提供商。提供一个唯一的 vendor ID 和一个 displayName。

{
  "contributes": {
    "languageModelChatProviders": [
      {
        "vendor": "my-provider",
        "displayName": "My Provider"
      }
    ]
  }
}

接下来，在您的扩展激活函数中，使用 lm.registerLanguageModelChatProvider 方法注册您的语言模型提供商。

提供您在 package.json 中使用的提供商 ID 和您的提供商类的实例

import * as vscode from 'vscode';
import { SampleChatModelProvider } from './provider';

export function activate(_: vscode.ExtensionContext) {
  vscode.lm.registerLanguageModelChatProvider('my-provider', new SampleChatModelProvider());
}

可选地，在您的 package.json 中提供 contributes.languageModelChatProviders.managementCommand，以允许用户管理语言模型提供商。

managementCommand 属性的值必须是您的 package.json 的 contributes.commands 部分中定义的命令。在您的扩展中，注册该命令 (vscode.commands.registerCommand) 并实现管理提供商的逻辑，例如配置 API 密钥或其他设置。

{
  "contributes": {
    "languageModelChatProviders": [
      {
        "vendor": "my-provider",
        "displayName": "My Provider",
        "managementCommand": "my-provider.manage"
      }
    ],
    "commands": [
      {
        "command": "my-provider.manage",
        "title": "Manage My Provider"
      }
    ]
  }
}

实现提供商

语言提供商必须实现 LanguageModelChatProvider 接口，该接口有三个主要方法

provideLanguageModelChatInformation：返回可用模型的列表
provideLanguageModelChatResponse：处理聊天请求并流式传输响应
provideTokenCount：实现令牌计数功能

准备语言模型信息

provideLanguageModelChatInformation 方法由 VS Code 调用以发现可用模型，并返回 LanguageModelChatInformation 对象列表。

使用 options.silent 参数来控制是否提示用户输入凭据或额外配置

async provideLanguageModelChatInformation(
    options: { silent: boolean },
    token: CancellationToken
): Promise<LanguageModelChatInformation[]> {
    if (options.silent) {
        return []; // Don't prompt user in silent mode
    } else {
        await this.promptForApiKey(); // Prompt user for credentials
    }

    // Fetch available models from your service
    const models = await this.fetchAvailableModels();

    // Map your models to LanguageModelChatInformation format
    return models.map(model => ({
        id: model.id,
        name: model.displayName,
        family: model.family,
        version: '1.0.0',
        maxInputTokens: model.contextWindow - model.maxOutput,
        maxOutputTokens: model.maxOutput,
        capabilities: {
            imageInput: model.supportsImages,
            toolCalling: model.supportsTools
        }
    }));
}

处理聊天请求

provideLanguageModelChatResponse 方法处理实际的聊天请求。提供商接收 LanguageModelChatRequestMessage 格式的消息数组，您可以选择将其转换为您的语言模型 API 所需的格式（请参阅消息格式和转换）。

使用 progress 参数来流式传输响应块。响应可以包括文本部分、工具调用和工具结果（请参阅响应部分）。

async provideLanguageModelChatResponse(
    model: LanguageModelChatInformation,
    messages: readonly LanguageModelChatRequestMessage[],
    options: ProvideLanguageModelChatResponseOptions,
    progress: Progress<LanguageModelResponsePart>,
    token: CancellationToken
): Promise<void> {

    // TODO: Implement message conversion, processing, and response streaming

    // Optionally, differentiate behavior based on model ID
    if (model.id === "my-model-a") {
        progress.report(new LanguageModelTextPart("This is my A response."));
    } else {
        progress.report(new LanguageModelTextPart("Unknown model."));
    }
}

提供令牌计数

provideTokenCount 方法负责估算给定文本输入中的令牌数量

async provideTokenCount(
    model: LanguageModelChatInformation,
    text: string | LanguageModelChatRequestMessage,
    token: CancellationToken
): Promise<number> {
    // TODO: Implement token counting for your models

    // Example estimation for strings
    return Math.ceil(text.toString().length / 4);
}

消息格式和转换

您的提供商将以 LanguageModelChatRequestMessage 格式接收消息，您通常需要将其转换为您的服务的 API 格式。消息内容可以是文本部分、工具调用和工具结果的混合。

interface LanguageModelChatRequestMessage {
  readonly role: LanguageModelChatMessageRole;
  readonly content: ReadonlyArray<LanguageModelInputPart | unknown>;
  readonly name: string | undefined;
}

可选地，将这些消息适当地转换为您的语言模型 API

private convertMessages(messages: readonly LanguageModelChatRequestMessage[]) {
    return messages.map(msg => ({
        role: msg.role === vscode.LanguageModelChatMessageRole.User ? 'user' : 'assistant',
        content: msg.content
            .filter(part => part instanceof vscode.LanguageModelTextPart)
            .map(part => (part as vscode.LanguageModelTextPart).value)
            .join('')
    }));
}

响应部分

您的提供商可以通过 LanguageModelResponsePart 类型通过进度回调报告不同类型的响应部分，它可以是以下之一：

LanguageModelTextPart - 文本内容
LanguageModelToolCallPart - 工具/函数调用
LanguageModelToolResultPart - 工具结果内容

入门

您可以从基本示例项目开始。

12/10/2025