Visual Studio Code 的 AI 工具包 (AI Toolkit)

Visual Studio Code 的 AI 工具包旨在帮助开发人员和 AI 工程师使用生成式 AI 模型构建、测试和部署 AI 应用。你可以在本地或云端使用它，在一处即可管理完整的 AI 应用工作流程。

AI 工具包与 OpenAI、Anthropic、Google 和 GitHub 等提供商的热门 AI 模型实现了无缝集成，同时也通过 ONNX 和 Ollama 支持本地模型。从模型发现和实验到提示词工程和部署，AI 工具包简化了你在 VS Code 内的 AI 开发工作流程。

主要功能

功能	描述	截图
模型目录	探索并访问来自多个来源的 AI 模型，包括 Microsoft Foundry、Foundry Local、GitHub、ONNX、Ollama、OpenAI、Anthropic 和 Google。你可以对模型进行并排比较，找到最适合你用例的模型。
训练场	用于实时模型测试的交互式聊天环境。尝试不同的提示词、参数以及包括图像和附件在内的多模态输入。
代理构建器	简化的提示词工程和智能体开发工作流程。创建复杂的提示词，集成 MCP 工具，并生成具有结构化输出且可直接用于生产环境的代码。
代理检查器 (Agent Inspector)	直接在 VS Code 内调试、可视化并迭代 AI 智能体。
批量运行	同时对多个模型执行批量提示词测试。非常适合比较模型性能以及在各种输入场景下进行大规模测试。
模型评估	使用数据集和标准指标进行全面的模型评估。利用内置的评估器（F1 分数、相关性、相似度、连贯性）衡量性能，或创建自定义评估标准。
微调	针对特定领域和需求自定义并适配模型。通过 GPU 支持在本地训练模型，或使用 Azure 容器应用 (Azure Container Apps) 进行云端微调。
模型转换	转换、量化并优化机器学习模型以进行本地部署。转换 Hugging Face 及其他来源的模型，使其能在搭载 CPU、GPU 或 NPU 加速的 Windows 设备上高效运行。
追踪	监控并分析 AI 应用的性能。收集并可视化跟踪数据，深入了解模型的行为和性能表现。
性能分析 (Windows ML)	诊断进程的 CPU、GPU、NPU 资源使用情况、不同执行提供程序上的 ONNX 模型以及 Windows 机器学习事件。

AI 工具包面向哪些用户？

AI 工具包专为所有从事生成式 AI 工作的人员设计，从初学者到专家皆可使用

开发人员

• 应用开发人员：构建 AI 驱动的应用，需要集成语言模型
• 全栈开发人员：希望为 Web 和桌面应用添加智能功能
• 移动端开发人员：在生产部署前进行 AI 功能的原型设计

AI 工程师与数据科学家

• AI 工程师：针对特定领域微调模型并部署到生产环境
• 数据科学家：评估模型性能并比较不同方案
• 机器学习工程师：转换并优化模型以实现高效的本地部署

研究人员与教育工作者

• AI 研究人员：试验不同的模型和提示词工程技术
• 教育工作者：教授 AI 概念并演示模型功能
• 学生：学习生成式 AI 并进行动手模型交互

主要使用场景

• 探索并评估来自 Anthropic、OpenAI 和 GitHub 等提供商的模型
• 通过 ONNX 和 Ollama 在本地运行模型，实现隐私保护和成本控制
• 利用提示词生成和 MCP 工具集成构建并测试智能体
• 转换并优化模型，以便在不同的硬件配置上进行部署

安装与设置

快速安装

开始使用的最快方法是通过 Visual Studio Marketplace 安装该扩展

安装适用于 VS Code 的 AI 工具包

安装成功后，AI 工具包图标将出现在活动栏中。

手动安装

你也可以从 Visual Studio Code Marketplace 手动安装 AI 工具包扩展。请遵循 安装扩展 中详细说明的步骤。

• 搜索 AI Toolkit for Visual Studio Code 并从搜索结果中选择 安装 (Install)。

  

• 安装成功后，AI 工具包图标将出现在活动栏中。

探索 AI 工具包

AI 工具包直接内置了 Foundry 侧边栏，因此你可以在一处管理 Microsoft Foundry 资源和 AI 工具包功能。

AI 工具包在自己的视图中打开，AI 工具包图标显示在 VS Code 活动栏上。该扩展包含三个主要部分：我的资源、开发工具，以及帮助与反馈。

• 我的资源 (My Resources)：此部分包含你在 AI 工具包中可访问的资源。“我的资源”部分是与你的 Azure AI 资源进行交互的主要视图。它包含以下子部分
  • 本地资源 (Local Resources)：此部分包含你本地机器上的 AI 资源，例如本地模型、智能体和工具。
  • 你的 Foundry 项目 (Your Foundry Project)：此部分显示连接到 AI 工具包的 Microsoft Foundry 项目。使用你的 Foundry 项目来管理和部署 AI 资源，例如已部署的模型、提示词智能体、托管智能体、连接、工具、向量存储和经典智能体。
  • 已连接资源 (Connected Resources)：此部分包含从 GitHub Models 等提供商连接到 AI 工具包的资源。
• 开发工具 (Developer Tools)：此部分包含可用于构建和部署 AI 应用的工具。“开发工具”视图是你查找用于部署以及处理已部署模型和智能体的工具的地方。它包含以下子部分
  • 发现 (Discover)：此部分包含有助于你发现和管理 AI 模型及工具的工具。它包含以下子部分
    • 模型目录 (Model Catalog)：模型目录允许你发现并访问来自多个来源的 AI 模型，包括 GitHub、ONNX、Ollama、OpenAI、Anthropic 和 Google。并排比较模型，为你的用例找到合适的模型。
    • 工具目录 (Tool Catalog)：浏览并管理 AI 工具包中可用的工具。
• 构建 (Build)：你可以在此部分找到用于部署以及处理 AI 工具包中已部署智能体的工具。它包含以下子部分
  • 创建智能体 (Create Agent)：轻松创建并部署智能体。
  • 智能体检查器 (Agent Inspector)：直接在 VS Code 内调试、可视化并迭代 AI 智能体。
  • 部署到 Microsoft Foundry (Deploy to Microsoft Foundry)：将你的本地智能体作为托管智能体部署到 Microsoft Foundry。
  • 托管智能体游乐场 (Hosted Agent Playground)：托管智能体游乐场提供了一个交互式环境，供你试验你的托管智能体。
  • 模型游乐场 (Model Playground)：模型游乐场提供了一个交互式环境，供你试验生成式 AI 模型。
  • 模型转换 (Model Conversion)：模型转换工具可帮助你在本地 Windows 平台上转换、量化、优化并评估预构建的机器学习模型。
  • 微调 (Fine-tuning)：此工具允许你使用自定义数据集，在搭载 GPU 的本地计算环境或搭载 GPU 的云端（Azure 容器应用）环境中运行预训练模型的微调作业。
• 监控 (Monitor)：在此部分监控并分析 AI 应用的性能。它包含以下子部分
  • 跟踪 (Tracing)：帮助你监控和分析 AI 应用性能的跟踪功能。
  • 评估 (Evaluation)：通过将模型、提示词和智能体的输出与事实数据进行比较并计算评估指标，来对它们进行评估。
  • 性能分析 (Windows ML)(预览版)：此工具允许你诊断进程的 CPU、GPU、NPU 资源使用情况、不同执行提供程序上的 ONNX 模型以及 Windows 机器学习事件。
• 帮助与反馈 (Help and Feedback)：此部分包含 AI 工具包文档、反馈、支持以及 Microsoft 隐私声明的链接。它包含以下子部分
  • 查看文档 (View Documentation)：AI 工具包文档的链接。
  • 新增功能 (What's New)：AI 工具包发行说明的链接。
  • 报告问题 (Report Issues)：AI 工具包 GitHub 存储库问题页面的链接。
  • 加入社区 (Join Community)：加入 AI 工具包社区，分享反馈并与其他用户及 AI 工具包团队建立联系。

后续步骤

• 获取有关在 AI 工具包中 添加生成式 AI 模型 的更多信息
• 使用 模型游乐场 与模型进行交互
• 使用 智能体构建器 (Agent Builder) 开发智能体，并使用 智能体检查器 (Agent Inspector) 进行调试