VS Code 中由 Bing 提供支持的设置搜索
2018 年 4 月 25 日，作者：Rob Lourens @roblourens 和 Ankith Karat ankar@microsoft.com
您是否曾在 VS Code 中难以找到某个设置？您不是一个人。通过查看常见的 GitHub issue、StackOverflow 问题、推文以及我们进行的用户研究，我们发现许多用户在查找设置时遇到困难。考虑到 VS Code 开箱即用就包含 400 多个设置，安装扩展后，许多用户拥有的设置会显著增加，这不足为奇。如果您算上用户常见的错误，例如拼写错误以及选择正确搜索词的挑战，用户确实很难找到所需的设置。
因此，几个月前，我们开始与 Bing 团队沟通，询问他们是否可以将他们的搜索专业知识应用于我们遇到的问题。两个月前，我们发布了成果——由 Bing 提供支持的智能设置搜索体验。
之前
之后
工作原理
经过一段时间的讨论和原型设计，我们决定采用一种方案：由 Bing 团队运行一个设置搜索服务，该服务将为用户在 VS Code 设置编辑器中搜索的查询提供智能的模糊设置匹配项。
将 Bing 的自然语言搜索功能集成到 VS Code 中具有挑战性。为了搜索网络文档，Bing 会考虑数千个与页面相似度、点击数据、用户行为数据等相关的信号。但我们没有针对设置提供这种丰富的元数据——每个设置只有简短的名称和描述。因此，Bing 团队结合了自定义服务和 Bing 的基本搜索功能，创建了一个针对我们搜索场景调整的系统。
以下是该系统的高层概述
让我们看看每个部分。
这个系统本质上分为两部分——离线收集和索引设置详情，以及在线提供结果。第一部分由 Ingestion Service 实现。它负责创建一个丰富的索引，其中包含来自 VS Code 本身和扩展的设置。由于我们希望查询响应时间尽可能短，因此我们在摄取设置时提前完成尽可能多的工作，以减少处理查询时必须进行的工作。
Bing 摄取服务
收集 VS Code 和扩展设置数据
在每次构建期间，VS Code 会以一种模式启动，该模式将其所有配置写入 JSON 文件。我们必须实际启动 VS Code，因为我们无法静态确定所有配置元数据。该文件包含每个设置的一些信息——名称、描述、类型、默认值，以及对于“枚举”类型的设置，还有有效值的列表及其描述。然后我们将文件上传到 Azure Storage。如果您好奇，可以在这里查看最近的一个示例
https://ticino.blob.core.windows.net/configuration/123000832/c1cd4378.../configuration.json
123000832 是一个唯一的构建号，由产品版本加上自上次发布以来的 Git 提交次数计算得出。c1cd4378... 是构建所基于的 Git 提交 ID。而 ticino，一些核心粉丝可能还记得，是我们最初短暂使用的代号。
Bing 的 Polling Service 监视 Azure Storage 容器，注意到新的构建后，会通知 Ingestion Service。与此同时，Bing 不断爬取 VS Code 扩展市场，等待扩展更新和新扩展。当它发现一个时，会下载其 package.json 文件（对于扩展，所有配置元数据都包含在 package.json 中，无需启动扩展），并将这些设置也传递给 Ingestion Service。
整个过程完全自动化，并为我们的每个稳定版本构建和每日 Insiders 构建实时更新索引设置。构建完成后几分钟内，Bing 的索引就会更新，包含任何新添加的设置。
1. 备选词管道
用户有时会使用与设置名称和描述中使用的词不同但等效的词进行搜索。为了确保能够处理这些情况，我们集成了 Bing 的“备选词”生成管道。该管道利用用户行为、点击、在线排名和页面相似度等信号，从 Bing 的搜索数据中收集彼此意义相似的词。例如，“update”和“upgrade”被设置为“备选词”，搜索其中一个将返回包含另一个词的设置。
2. 词干提取和拼写检查管道
我们不想因为用户拼错设置名称而惩罚他们，但我们早期发现，简单的模糊匹配要么会错过人类可以理解的英语单词变体，要么会包含太多误报匹配。因此，我们还包含了 Speller 和 Stemmer 服务，这些服务是从 Bing.com 使用的完整服务中提取出来的，它们通过常见的拼写错误和同一词干的不同形式来丰富索引。例如，“formatted”、“formatter”、“format”——所有这些都将为使用“formatting”一词的设置建立索引。
3. 自然语言处理 (NLP) 管道
我们还希望用户能够用自己的自然语言描述查询，因此我们添加了 Bing 的自然语言处理 管道。该管道收集常用的语音和文本模式，并将它们添加到索引中。例如，它使系统能够识别“如何禁用 css 验证”中的重要词汇，从而找到 "css.validate"。
4. 反馈/排名管道
我们创建了一个反馈机制，通过用户反馈来学习和改进。它允许我们手动指定新的词对或提升某些查询的预期结果排名。反馈会上传到服务，并且搜索结果几乎立即就会反映出来。
门控模块
每次向索引进行的摄取都会经过门控模块，它只是确保索引没有因为某些编程错误而损坏。我们编写了测试用例来验证以下内容
- 新索引向后兼容并支持所有 VS Code 构建版本
- 我们的黄金查询集返回预期结果
门控模块中的失败将阻止索引摄取，并立即通知团队。我们还创建了一个仪表板服务，用于监控管道所有阶段的健康状况。它具有警报机制和回滚到上一个已知良好状态的能力，以确保任何问题都能在最短停机时间内快速解决。
搜索服务
最后，在运行时，用户的查询会命中 Azure Load Balancer 服务，该服务根据物理距离或当前负载选择我们的一个异地复制服务器来处理查询。托管在该位置的搜索服务会在索引中查找相关结果，在某些情况下应用手动排名覆盖，然后将结果返回给 VS Code 客户端。
综合来看
我们现在有一个系统，它能更好地理解设置查询，并为许多以前会返回空结果的查询提供结果。
以下是一些示例
如果您遇到类似问题，并且没有像 Bing 团队为我们这样组建一个搜索团队来为您构建自定义服务，我们仍然有一些好消息。您可以开始使用 Bing Cognitive Services，这将帮助您为自己的应用添加一些智能功能。例如
关于测试的注意事项
在开发此系统时，我们需要一种定量评估结果的方法。我们决定基于 Normalized Discounted Cumulative Gain (归一化折损累积增益，简称 NDCG) 的概念构建一个测试框架。简单来说，这是一种根据查询、一组结果以及这些结果的分数来评估搜索引擎结果的方法。我们手动编写了不少测试用例，但意识到我们需要一种自动生成所有设置测试用例的方法，包括新添加的设置以及扩展中的设置。因此，我们编写了一个工具，可以自动为任何设置生成测试用例。它使用设置名称和描述中的词汇，并将其通过不同的转换器运行，这些转换器模拟用户选择替代词、输入错误或使用自然语言模式进行搜索。我们还为一些流行的扩展中的设置生成了测试用例。
我们每 6 小时运行一次完整的测试套件，它可以自动更新自身，以便始终测试最新构建中的设置。测试套件确保系统正常运行，并让我们有信心在后端进行更改时不会损害结果质量。
下一步
我们可以通过几种方式继续改进该系统。例如，我们还在建立一个基于用户行为的自动化反馈循环。如果许多人搜索相似的查询，然后选择相同的结果，我们就知道该结果很可能是个好结果，应该提高其排名。
目前该服务仅索引英文设置，但我们希望索引翻译后的设置描述，并支持非英文语言的搜索。还有一些配置元数据目前未被索引，例如 "workbench.colorCustomizations" 设置的可能值。此外，如果进一步扩展搜索，我们希望展示尚未安装的扩展的结果。如果您搜索 "debug python"，但本地设置中没有强匹配项，那么我们希望引导您找到一个可以帮助您调试 Python 代码的扩展。我们还考虑了这项技术在 VS Code 内的其他应用场景。也许命令面板可以受益于类似的服务。
我们需要您的反馈
感谢 Bing 团队的朋友们，现在查找设置变得更容易了！用户反馈是我们改进结果的最佳方式，因此当您搜索设置时，如果您没有看到预期的结果，请在 GitHub 上提交 issue。事实上，如果您正在使用 VS Code Insiders，您甚至会看到一个按钮，它将调用我们新的 issue 报告工具，让您更轻松地提交包含我们所需所有详细信息的 issue。
编程愉快！
Rob Lourens，VS Code - @roblourens
Ankith Karat，Bing - ankar@microsoft.com