VS Code 中 Data Wrangler 入门
Data Wrangler 是一款以代码为中心的数据查看和清理工具，集成在 VS Code 和 VS Code Jupyter Notebook 中。它提供了一个功能丰富的用户界面，用于查看和分析数据、显示直观的列统计信息和可视化效果，并可在您清理和转换数据的同时自动生成 Pandas 代码。
以下是从 Notebook 打开 Data Wrangler 以使用内置操作分析和清理数据的示例。之后，自动生成的代码会被导出回 Notebook 中。
本文档涵盖如何
- 安装和设置 Data Wrangler
- 从 Notebook 启动 Data Wrangler
- 从数据文件启动 Data Wrangler
- 使用 Data Wrangler 探索数据
- 使用 Data Wrangler 对数据执行操作和清理
- 编辑并将数据整理代码导出到 Notebook
- 故障排除与提供反馈
设置环境
- 如果尚未安装，请安装 Python。重要提示：Data Wrangler 仅支持 Python 3.8 或更高版本。
- 安装 Visual Studio Code。
- 安装 Data Wrangler 扩展
首次启动 Data Wrangler 时，它会询问您要连接到哪个 Python 内核。它还会检查您的机器和环境，以确定是否安装了所需的 Python 包（例如 Pandas）。
以下是 Python 和 Python 包的所需版本列表，以及它们是否由 Data Wrangler 自动安装
| 名称 | 最低要求版本 | 自动安装 |
|---|---|---|
| Python | 3.8 | 否 |
| pandas | 0.25.2 | 是 |
如果您的环境中未找到这些依赖项，Data Wrangler 将尝试使用 pip 为您安装它们。如果 Data Wrangler 无法安装依赖项，最简单的解决方法是手动运行 pip install，然后再次启动 Data Wrangler。这些依赖项对于 Data Wrangler 是必需的，这样它才能生成 Python 和 Pandas 代码。
打开 Data Wrangler
在 Data Wrangler 中，您始终处于沙盒环境中，这意味着您可以安全地探索和转换数据。在您明确导出更改之前，原始数据集不会被修改。
从 Jupyter Notebook 启动 Data Wrangler
有三种方式可以从 Jupyter Notebook 启动 Data Wrangler
- 在 Jupyter > 变量 (Variables) 面板中，任何受支持的数据对象旁边都会显示一个用于启动 Data Wrangler 的按钮。
- 如果您的 Notebook 中有 Pandas 数据框，在运行输出该数据框的代码后，单元格底部会出现一个 Open 'df' in Data Wrangler 按钮（其中 'df' 是数据框的变量名）。这包括：1)
df.head(), 2)df.tail(), 3)display(df), 4)print(df), 5)df。 - 在 Notebook 工具栏中，选择 查看数据 (View data) 将调出 Notebook 中所有受支持的数据对象列表。然后，您可以选择要在 Data Wrangler 中打开的变量。
直接从文件启动 Data Wrangler
您还可以直接从本地文件（例如 .csv）启动 Data Wrangler。为此，请在 VS Code 中打开包含该文件的文件夹。在资源管理器 (File Explorer) 视图中，右键单击该文件并点击 Open in Data Wrangler。
Data Wrangler 目前支持以下文件类型
.csv/.tsv.xls/.xlsx.parquet
根据文件类型，您可以指定文件的分隔符和/或工作表。
您还可以将这些文件类型设置为默认使用 Data Wrangler 打开。
UI 导览
处理数据时，Data Wrangler 有两种模式。每种模式的详细信息将在下文中解释。
- 查看模式 (Viewing mode)：查看模式优化了界面，使您可以快速查看、筛选和排序数据。此模式非常适合对数据集进行初步探索。
- 编辑模式 (Editing mode)：编辑模式优化了界面，使您可以对数据集应用转换、清理或修改。当您在界面中应用这些转换时，Data Wrangler 会自动生成相关的 Pandas 代码，这些代码可以导出回 Notebook 以供重用。
注意：默认情况下，Data Wrangler 以查看模式打开。您可以在设置编辑器中更改此行为 。
查看模式界面
-
数据摘要 (Data Summary) 面板显示整个数据集或所选特定列的详细统计摘要。
-
您可以从列的标题菜单中对该列应用任何 数据筛选/排序 (Data Filters/Sorts)。
-
在 Data Wrangler 的 查看 或 编辑 模式之间切换，以访问内置的数据操作。
-
快速见解 (Quick Insights) 标题区是您可以快速查看每列重要信息的地方。根据列的数据类型，快速见解显示数据的分布或数据点的频率，以及缺失值和唯一值。
-
数据网格 (Data Grid) 提供了一个可滚动的窗格，您可以在其中查看整个数据集。
编辑模式界面
切换到编辑模式可启用 Data Wrangler 中的附加功能和用户界面元素。在下面的截图中，我们使用 Data Wrangler 将最后一列中的缺失值替换为该列的中位数。
-
操作 (Operations) 面板是您可以搜索 Data Wrangler 所有内置数据操作的地方。这些操作按类别进行组织。
-
清理步骤 (Cleaning Steps) 面板显示了所有已应用的操作列表。它允许用户撤销特定操作或编辑最近的操作。选择一个步骤将突出显示数据差异视图中的更改，并显示与该操作关联的生成代码。
-
导出菜单 (Export Menu) 允许您将代码导出回 Jupyter Notebook 或将数据导出为新文件。
-
当您选择了某个操作并预览其对数据的影响时，网格上会覆盖显示您对数据所做更改的 数据差异 (data diff) 视图。
-
代码预览 (Code Preview) 部分显示了选择操作时 Data Wrangler 生成的 Python 和 Pandas 代码。当未选择操作时，它保持为空。您可以编辑生成的代码，这将导致数据网格突出显示对数据的影响。
Data Wrangler 操作
内置的 Data Wrangler 操作可以从 操作 (Operation) 面板中选择。
下表列出了 Data Wrangler 初始版本中目前支持的操作。我们计划在不久的将来添加更多操作。
| 操作 | 描述 |
|---|---|
| 排序 | 按升序或降序排列列 |
| 筛选 | 基于一个或多个条件筛选行 |
| 计算文本长度 | 创建包含文本列中每个字符串值长度的新列 |
| 独热编码 (One-hot encode) | 将分类数据拆分为每个类别的单独新列 |
| 多标签二值化器 | 使用分隔符将分类数据拆分为每个类别的单独新列 |
| 根据公式创建列 | 使用自定义 Python 公式创建列 |
| 更改列类型 | 更改列的数据类型 |
| 删除列 | 删除一个或多个列 |
| 选择列 | 选择要保留的一个或多个列并删除其余列 |
| 重命名列 | 重命名一个或多个列 |
| 克隆列 | 创建一列或多列的副本 |
| 删除缺失值 | 删除包含缺失值的行 |
| 删除重复行 | 删除在一个或多个列中具有重复值的所有行 |
| 填充缺失值 | 用新值替换包含缺失值的单元格 |
| 查找和替换 | 替换匹配模式的单元格 |
| 按列分组并聚合 | 按列分组并聚合结果 |
| 去除空格 | 去除文本开头和结尾的空格 |
| 拆分文本 | 根据用户定义的分隔符将一列拆分为多列 |
| 首字母大写 | 将第一个字符转换为大写，其余转换为小写 |
| 将文本转换为小写 | 将文本转换为小写 |
| 将文本转换为大写 | 将文本转换为大写 |
| 基于示例进行字符串转换 | 当从您提供的示例中检测到模式时，自动执行字符串转换 |
| 基于示例进行日期时间格式化 | 当从您提供的示例中检测到模式时，自动执行日期时间格式化 |
| 基于示例创建新列 | 当从您提供的示例中检测到模式时，自动创建新列 |
| 缩放最小值/最大值 | 将数值列缩放到最小值和最大值之间 |
| 四舍五入 | 将数字四舍五入到指定的小数位数 |
| 向下取整 (floor) | 将数字向下取整为最接近的整数 |
| 向上取整 (ceiling) | 将数字向上取整为最接近的整数 |
| 自定义操作 | 根据示例和现有列的派生自动创建新列 |
如果您想要的操作缺失且希望 Data Wrangler 支持，请在我们的 Data Wrangler GitHub 仓库中提交功能请求。
修改先前的步骤
生成代码的每个步骤都可以通过 清理步骤 (Cleaning Steps) 面板进行修改。首先，选择您要修改的步骤。然后，当您对操作进行更改（通过代码或操作面板）时，您更改对数据的影响将会在网格视图中突出显示。
编辑并导出代码
完成 Data Wrangler 中的数据清理步骤后，有三种方法可以导出清理后的数据集。
- 将代码导出回 Notebook 并退出：这会在您的 Jupyter Notebook 中创建一个新单元格，其中包含您生成的所有数据清理代码，并封装成一个 Python 函数。
- 将数据导出到文件：这会将清理后的数据集另存为机器上的新 CSV 或 Parquet 文件。
- 复制代码到剪贴板：这会复制 Data Wrangler 为数据清理操作生成的所有代码。
搜索列
要查找数据集中的特定列，请从 Data Wrangler 工具栏中选择 转到列 (Go to column) 并搜索相应的列。
故障排除
常规内核连接问题
有关常规连接问题，请参阅上述“连接到 Python 内核”部分了解替代连接方法。要调试与本地 Python 解释器选项相关的问题，一种潜在的解决方法是安装不同版本的 Jupyter 和 Python 扩展。例如，如果安装了扩展的稳定版本，您可以安装预发布版本（反之亦然）。
要清除已缓存的内核，您可以从命令面板运行 Data Wrangler: Clear cached runtime 命令 ⇧⌘P (Windows, Linux Ctrl+Shift+P)。
打开数据文件出现 UnicodeDecodeError
如果您在直接从 Data Wrangler 打开数据文件时遇到 UnicodeDecodeError，这可能是由以下两个问题之一引起的
- 您尝试打开的文件采用的是
UTF-8以外的编码 - 文件已损坏。
要解决此错误，您需要从 Jupyter Notebook 而不是直接从数据文件打开 Data Wrangler。使用 Jupyter Notebook 通过 Pandas 读取文件，例如使用 read_csv 方法。在 read 方法中，使用 encoding 和/或 encoding_errors 参数来定义要使用的编码或如何处理编码错误。如果您不知道此文件可能使用哪种编码，可以尝试使用 chardet 等库来推断有效的编码。
问题和反馈
如果您遇到问题、有功能请求或任何其他反馈，请在我们的 GitHub 仓库中提交 Issue：https://github.com/microsoft/vscode-data-wrangler/issues/new/choose
数据与遥测
用于 Visual Studio Code 的 Microsoft Data Wrangler 扩展会收集使用数据并将其发送给 Microsoft，以帮助改进我们的产品和服务。阅读我们的 隐私声明 以了解更多信息。此扩展遵循 telemetry.telemetryLevel 设置，您可以在 https://vscode.js.cn/docs/configure/telemetry 上了解更多相关信息。