AI Toolkit 中的模型试验场
AI Toolkit 试验场提供了一个交互式环境,用于试验生成式 AI 模型。你可以在其中测试各种提示,调整模型参数,比较不同模型的响应,并通过附加不同类型的输入文件来探索多模态功能。
在试验场中测试模型
访问试验场
- 在 AI Toolkit 视图中,选择 工具 > 试验场
- 在模型目录的模型卡片中选择在试验场中试用
- 双击我的模型中的模型,在试验场中打开它
若要在试验场中测试模型,请按照以下步骤操作
- 在模型偏好设置中,从下拉列表中选择一个模型。
- (可选)添加系统提示以引导模型响应。
- (可选)配置所选模型可用的模型参数。
- 在聊天输入框中输入聊天提示
模型偏好设置
模型偏好设置面板允许你选择用于试验场交互的模型,设置系统提示以引导模型的行为,并为所选模型配置模型参数。
选择模型
模型偏好设置面板中的下拉列表显示你已添加到 AI Toolkit 的模型。你可以选择浏览模型以打开模型目录并添加更多模型。
系统提示
系统提示是预定义的指令,用于引导模型的行为和响应风格。你可以在输入文本区域中添加、编辑或删除系统提示,以影响模型生成响应的方式。
配置推理参数
可用参数取决于模型类型和发布者。常见参数包括
- 温度:控制模型输出的随机性。较低的值使输出更具确定性。较高的值引入更多可变性。
- Top P:通过限制所选令牌的累积概率来控制输出的多样性。较低的值会产生更集中的响应。较高的值允许更多样化的输出。
- 最大响应长度(令牌):设置模型响应中的最大令牌数。这限制了生成文本的长度。
- 频率惩罚:降低模型在响应中重复相同令牌的可能性。较高的值会抑制重复。
- 存在惩罚:鼓励模型在响应中引入新主题或概念。较高的值会促进生成文本的多样性。
聊天提示
聊天提示是你提供给模型的输入文本。你可以输入问题、陈述或任何你希望模型响应的文本。模型会根据提供的提示以及配置的系统提示和参数生成响应。
聊天提示输入框中的可用功能
- 发送:将聊天提示提交给模型进行处理。
- 清除:清除聊天提示输入框。
- 文件附件:为多模态模型将文件附加到聊天提示。
- 图像附件:为多模态模型将图像附加到聊天提示。
- 网页搜索:执行网页搜索以查找与聊天提示相关的信息。
- 模式切换:切换使用 AI 功能的不同模式。
切换模式
你可以在聊天提示输入框中切换不同模式
- 使用模型原生支持的 AI 功能:此模式允许你使用所选模型的原生功能,例如网页搜索或文件附件。
- 使用所有 AI 功能:此模式允许你使用 AI Toolkit 实现的 AI 功能,例如文件附件,而不管模型是否原生支持该功能。
如果所选模型或 AI Toolkit 不支持某项功能,聊天提示输入框上方会显示警告。警告建议你切换到支持该功能的其他模型。
模型响应
模型响应显示在聊天提示输入框上方。在输入聊天提示之前,试验场会显示一个欢迎屏幕,其中包含三个入门提示,供你开始使用试验场。
模型响应区域中的可用功能
- 复制响应:将模型的响应文本复制到剪贴板。
- 重新生成响应:根据相同的提示重新生成模型的响应,或使用另一个模型重新生成响应。
- 复制代码:将响应中生成的代码复制到剪贴板或将其插入新文件。
- 渲染:试验场支持渲染模型响应中的代码片段、图像、Markdown、LaTeX 和其他内容。
- 令牌计数:显示模型响应中使用的令牌数量。这有助于你了解模型的成本和性能。
工具栏
试验场中的工具栏提供了对各种操作和功能的快速访问:
- 新建试验场:创建新的试验场会话。
- 历史记录:查看、重命名、删除和切换聊天历史记录。
- 自动命名:聊天会话的名称会根据用户提示自动生成。
- 比较:并排比较不同模型的响应。
- 查看代码:查看来自 LLM 集成的聊天提示生成的代码。
比较模型响应
比较功能允许你并排比较不同模型的响应。这对于评估不同模型在相同提示上的性能非常有用。
比较模型响应
- 选择工具栏中的比较按钮。
- 从下拉列表中选择要比较的模型。
- 在一个输入框中输入相同的聊天提示。你的提示将被复制到其他输入框。
- 选择发送以将提示提交给所有选定的模型。
- 每个模型的响应并排显示,便于比较。
对于你正在比较的每个模型,你可以
- 将响应文本复制到剪贴板。
- 配置所选模型的模型参数。
- 继续与所选模型聊天。