尝试以扩展 VS Code 中的代理模式!

AI Toolkit 中的模型试验场

AI Toolkit 试验场提供了一个交互式环境,用于试验生成式 AI 模型。你可以在其中测试各种提示,调整模型参数,比较不同模型的响应,并通过附加不同类型的输入文件来探索多模态功能。

AI Toolkit playground interface showing a chat interaction with a generative AI model.

在试验场中测试模型

访问试验场

  • 在 AI Toolkit 视图中,选择 工具 > 试验场
  • 在模型目录的模型卡片中选择在试验场中试用
  • 双击我的模型中的模型,在试验场中打开它

若要在试验场中测试模型,请按照以下步骤操作

  1. 模型偏好设置中,从下拉列表中选择一个模型。
  2. (可选)添加系统提示以引导模型响应。
  3. (可选)配置所选模型可用的模型参数。
  4. 在聊天输入框中输入聊天提示

模型偏好设置

Model Preferences panel displaying adjustable parameters for generative AI models

模型偏好设置面板允许你选择用于试验场交互的模型,设置系统提示以引导模型的行为,并为所选模型配置模型参数。

选择模型

模型偏好设置面板中的下拉列表显示你已添加到 AI Toolkit 的模型。你可以选择浏览模型以打开模型目录并添加更多模型。

系统提示

系统提示是预定义的指令,用于引导模型的行为和响应风格。你可以在输入文本区域中添加、编辑或删除系统提示,以影响模型生成响应的方式。

配置推理参数

可用参数取决于模型类型和发布者。常见参数包括

  • 温度:控制模型输出的随机性。较低的值使输出更具确定性。较高的值引入更多可变性。
  • Top P:通过限制所选令牌的累积概率来控制输出的多样性。较低的值会产生更集中的响应。较高的值允许更多样化的输出。
  • 最大响应长度(令牌):设置模型响应中的最大令牌数。这限制了生成文本的长度。
  • 频率惩罚:降低模型在响应中重复相同令牌的可能性。较高的值会抑制重复。
  • 存在惩罚:鼓励模型在响应中引入新主题或概念。较高的值会促进生成文本的多样性。

聊天提示

Chat prompt input box in AI Toolkit playground showing an attachment icon for adding files.

聊天提示是你提供给模型的输入文本。你可以输入问题、陈述或任何你希望模型响应的文本。模型会根据提供的提示以及配置的系统提示和参数生成响应。

聊天提示输入框中的可用功能

  • 发送:将聊天提示提交给模型进行处理。
  • 清除:清除聊天提示输入框。
  • 文件附件:为多模态模型将文件附加到聊天提示。
  • 图像附件:为多模态模型将图像附加到聊天提示。
  • 网页搜索:执行网页搜索以查找与聊天提示相关的信息。
  • 模式切换:切换使用 AI 功能的不同模式。

切换模式

你可以在聊天提示输入框中切换不同模式

  • 使用模型原生支持的 AI 功能:此模式允许你使用所选模型的原生功能,例如网页搜索或文件附件。
  • 使用所有 AI 功能:此模式允许你使用 AI Toolkit 实现的 AI 功能,例如文件附件,而不管模型是否原生支持该功能。

如果所选模型或 AI Toolkit 不支持某项功能,聊天提示输入框上方会显示警告。警告建议你切换到支持该功能的其他模型。

Screenshot showing warning message displayed above the chat prompt input box stating Capability not supported.

模型响应

AI Toolkit playground response area showing a generated Python code snippet for encoding text in base64, with options to copy or regenerate the response.

模型响应显示在聊天提示输入框上方。在输入聊天提示之前,试验场会显示一个欢迎屏幕,其中包含三个入门提示,供你开始使用试验场。

模型响应区域中的可用功能

  • 复制响应:将模型的响应文本复制到剪贴板。
  • 重新生成响应:根据相同的提示重新生成模型的响应,或使用另一个模型重新生成响应。
  • 复制代码:将响应中生成的代码复制到剪贴板或将其插入新文件。
  • 渲染:试验场支持渲染模型响应中的代码片段、图像、Markdown、LaTeX 和其他内容。
  • 令牌计数:显示模型响应中使用的令牌数量。这有助于你了解模型的成本和性能。

工具栏

试验场中的工具栏提供了对各种操作和功能的快速访问:AI Toolkit 试验场中的工具栏,显示了清除聊天记录、保存聊天和切换模式的按钮。

  • 新建试验场:创建新的试验场会话。
  • 历史记录:查看、重命名、删除和切换聊天历史记录。
  • 自动命名:聊天会话的名称会根据用户提示自动生成。
  • 比较:并排比较不同模型的响应。
  • 查看代码:查看来自 LLM 集成的聊天提示生成的代码。

比较模型响应

Screenshot showing side by side comparison of responses from different models in the AI Toolkit playground.

比较功能允许你并排比较不同模型的响应。这对于评估不同模型在相同提示上的性能非常有用。

比较模型响应

  1. 选择工具栏中的比较按钮。
  2. 从下拉列表中选择要比较的模型。
  3. 在一个输入框中输入相同的聊天提示。你的提示将被复制到其他输入框。
  4. 选择发送以将提示提交给所有选定的模型。
  5. 每个模型的响应并排显示,便于比较。

对于你正在比较的每个模型,你可以

  • 将响应文本复制到剪贴板。
  • 配置所选模型的模型参数。
  • 继续与所选模型聊天。