AI Toolkit 中的模型试验场

AI Toolkit 试验场提供了一个交互式环境，用于试验生成式 AI 模型。您可以测试各种提示、调整模型参数、比较不同模型的响应，并通过附加不同类型的输入文件来探索多模态功能。

在试验场中测试模型

要访问试验场

• 在 AI Toolkit 视图中，选择 “工具” > “试验场”
• 在模型目录的模型卡片中选择 “在试验场中尝试”
• 双击 “我的模型” 中的一个模型，即可在试验场中打开它

要在试验场中测试模型，请按照以下步骤操作

1. 在 “模型首选项” 中，从下拉列表中选择一个模型。
2. （可选）添加 “系统提示” 以指导模型响应。
3. （可选）为所选模型配置可用的模型参数。
4. 在聊天输入框中输入聊天提示

GitHub 即用即付模型支持

AI Toolkit 现在支持 GitHub 即用即付模型，因此您在超出免费套餐限制后可以继续工作。

• 当您达到 GitHub 的模型使用限制时，AI Toolkit 会显示一条警告，并附上指向 GitHub 付费使用文档的链接。

  

• 在您的 GitHub 设置中为模型启用计费（需要登录您的 GitHub 帐户）。

• 启用计费后，可继续在试验场或 Agent Builder 中使用模型，无需更改您的工作流程。

模型首选项

“模型首选项” 面板允许您选择用于试验场交互的模型、设置系统提示以指导模型的行为，并为所选模型配置参数。

选择模型

“模型首选项” 面板中的下拉列表显示了您已添加到 AI Toolkit 的模型。您可以选择 “浏览模型” 来打开模型目录并添加更多模型。

系统提示

系统提示是一种预定义的指令，用于指导模型的行为和响应风格。您可以在输入文本区域中添加、编辑或删除系统提示，以影响模型生成响应的方式。

配置推理参数

可用参数取决于模型类型和发布者。常见参数包括

• 温度 (Temperature)：控制模型输出的随机性。值越低，输出的确定性越高。值越高，可变性越大。
• Top P：通过限制所选词元 (token) 的累积概率来控制输出的多样性。值越低，响应越集中。值越高，输出更多样化。
• 最大响应长度（词元）：设置模型响应中的最大词元数。这会限制生成文本的长度。
• 频率惩罚 (Frequency Penalty)：降低模型在响应中重复相同词元的可能性。值越高，越能抑制重复。
• 存在惩罚 (Presence Penalty)：鼓励模型在响应中引入新的主题或概念。值越高，越能促进生成文本的多样性。

聊天提示

聊天提示是您提供给模型的输入文本。您可以输入问题、陈述或任何希望模型响应的文本。模型会根据提供的提示以及配置的系统提示和参数来生成响应。

聊天提示输入框中的可用功能

• 发送：将聊天提示提交给模型进行处理。
• 清除：清空聊天提示输入框。
• 文件附件：为多模态模型向聊天提示附加文件。
• 图像附件：为多模态模型向聊天提示附加图像。
• 网络搜索：执行网络搜索以查找与聊天提示相关的信息。
• 模式切换：在使用 AI 功能时切换不同的模式。

切换模式

您可以在聊天提示输入框中切换不同的模式

• 使用模型原生支持的 AI 功能：此模式允许您使用所选模型的原生功能，例如网络搜索或文件附件。
• 使用所有 AI 功能：此模式允许您使用 AI Toolkit 实现的 AI 功能，例如文件附件，而不管模型本身是否具备原生功能。

如果所选模型或 AI Toolkit 不支持某项功能，聊天提示输入框上方会显示警告。该警告会建议您切换到支持该功能的其他模型。

模型响应

模型响应显示在聊天提示输入框的上方。在您输入聊天提示之前，试验场会显示一个欢迎屏幕，其中包含三个入门提示，帮助您开始使用试验场。

模型响应区域的可用功能

• 复制响应：将模型的响应文本复制到剪贴板。
• 重新生成响应：根据相同的提示重新生成模型的响应，或使用其他模型重新生成响应。
• 复制代码：将响应中生成的代码复制到剪贴板或将其插入到新文件中。
• 渲染：试验场支持在模型响应中渲染代码片段、图像、Markdown、LaTex 和其他内容。
• 词元计数：显示模型响应中使用的词元数量。这有助于您了解模型的成本和性能。

工具栏

试验场中的工具栏提供了对各种操作和功能的快速访问：

• 新建试验场：创建一个新的试验场会话。
• 历史记录：查看、重命名、删除和切换聊天历史记录。
• 自动命名：聊天会话的名称会根据用户提示自动生成。
• 比较：并排比较不同模型的响应。
• 查看代码：查看通过 LLM 集成为聊天提示生成的代码。

比较模型响应

比较功能允许您并排比较不同模型的响应。这对于评估不同模型在相同提示下的性能非常有用。

要比较模型响应

1. 选择工具栏中的比较按钮。
2. 从下拉列表中选择您想要比较的模型。
3. 在其中一个输入框中输入相同的聊天提示。您的提示将被复制到其他输入框中。
4. 选择发送，将提示提交给所有选定的模型。
5. 每个模型的响应将并排显示，以便于比较。

对于您正在比较的每个模型，您可以

• 将响应文本复制到剪贴板。
• 为所选模型配置参数。
• 与所选模型继续聊天。

您学到了什么

在本文中，您学习了如何

• 使用 AI Toolkit 试验场与生成式 AI 模型进行交互。
• 在试验场中测试模型，配置系统提示和参数，并通过附加文件探索多模态功能。
• 使用“比较”功能评估不同模型在相同提示下的性能，并并排查看响应。
• 使用聊天提示输入框发送提示、附加文件或图像、执行网络搜索以及切换 AI 功能模式。
• 查看模型响应，复制或重新生成响应，以及渲染代码片段、图像、Markdown 和 LaTeX。
• 跟踪模型响应中的词元计数以了解成本和性能。
• 使用“模型首选项”面板选择模型、设置系统提示和调整推理参数。
• 使用工具栏创建新的试验场会话、查看和管理聊天历史记录、自动命名会话、比较模型以及查看生成的代码。
• 管理聊天历史记录，包括查看、重命名、删除和在会话之间切换。