Data Wrangler 在 VS Code 中的入门指南
Data Wrangler 是一款以代码为中心的数据查看和清理工具,它集成到 VS Code 和 VS Code Jupyter Notebooks 中。它提供丰富的用户界面来查看和分析您的数据,显示有见地的列统计信息和可视化效果,并在您清理和转换数据时自动生成 Pandas 代码。
以下是从 Notebook 打开 Data Wrangler,使用内置操作分析和清理数据的示例。然后,自动生成的代码将导出回 Notebook。
本文档涵盖如何:
- 安装和设置 Data Wrangler
- 从 Notebook 启动 Data Wrangler
- 从数据文件启动 Data Wrangler
- 使用 Data Wrangler 探索您的数据
- 使用 Data Wrangler 对数据执行操作和清理
- 编辑数据整理代码并将其导出到 Notebook
- 故障排除和提供反馈
设置您的环境
- 如果您尚未安装 Python,请立即安装。 重要提示:Data Wrangler 仅支持 Python 3.8 或更高版本。
- 安装 Visual Studio Code。
- 安装 Data Wrangler 扩展
首次启动 Data Wrangler 时,它会询问您要连接到哪个 Python Kernel。它还会检查您的机器和环境,以查看是否安装了所需的 Python 包,例如 Pandas。
以下是 Python 和 Python 包的所需版本列表,以及 Data Wrangler 是否会自动安装它们
名称 | 最低所需版本 | 自动安装 |
---|---|---|
Python | 3.8 | 否 |
pandas | 0.25.2 | 是 |
如果在您的环境中未找到这些依赖项,Data Wrangler 将尝试使用 pip
为您安装它们。如果 Data Wrangler 无法安装依赖项,最简单的解决方法是手动运行 pip install
,然后再次启动 Data Wrangler。这些依赖项是 Data Wrangler 所必需的,以便它可以生成 Python 和 Pandas 代码。
打开 Data Wrangler
任何时候您在使用 Data Wrangler 时,您都处于沙盒环境中,这意味着您可以安全地探索和转换数据。在您显式导出更改之前,原始数据集不会被修改。
从 Jupyter Notebook 启动 Data Wrangler
有三种方法可以从 Jupyter Notebook 启动 Data Wrangler
- 在 Jupyter > 变量 面板中,在任何受支持的数据对象旁边,您都可以看到一个用于启动 Data Wrangler 的按钮。
- 如果您的 Notebook 中有一个 Pandas 数据帧,您现在可以在运行输出数据帧的代码后,在单元格底部看到一个 在 Data Wrangler 中打开 'df' 按钮(其中 'df' 是您的数据帧的变量名)。这包括 1)
df.head()
,2)df.tail()
,3)display(df)
,4)print(df)
,5)df
。 - 在 Notebook 工具栏中,选择 查看数据 会弹出一个列表中,其中包含 Notebook 中的每个受支持的数据对象。然后,您可以选择要 Data Wrangler 中打开的列表中的哪个变量。
直接从文件启动 Data Wrangler
您还可以直接从本地文件(例如 .csv
)启动 Data Wrangler。为此,在 VS Code 中打开任何包含您要打开的文件的文件夹。在文件资源管理器视图中,右键单击该文件,然后单击 在 Data Wrangler 中打开。
Data Wrangler 当前支持以下文件类型
.csv
/.tsv
.xls
/.xlsx
.parquet
根据文件类型,您可以指定文件的分隔符和/或工作表。
您还可以设置这些文件类型默认使用 Data Wrangler 打开。
UI 导览
Data Wrangler 在处理数据时有两种模式。以下各节将详细介绍每种模式。
- 查看模式: 查看模式优化了界面,使您可以快速查看、筛选和排序数据。此模式非常适合对数据集进行初始探索。
- 编辑模式: 编辑模式优化了界面,使您可以对数据集应用转换、清理或修改。当您在界面中应用这些转换时,Data Wrangler 会自动生成相关的 Pandas 代码,并且可以将其导出回您的 Notebook 以供重用。
注意:默认情况下,Data Wrangler 在查看模式下打开。您可以在“设置”编辑器中更改此行为 。
查看模式界面
-
数据摘要面板显示您的整体数据集或特定列(如果已选择)的详细摘要统计信息。
-
您可以从列的标题菜单中对列应用任何数据筛选器/排序。
-
在 Data Wrangler 的查看或编辑模式之间切换以访问内置数据操作。
-
快速洞察标题是您可以快速查看有关每列的宝贵信息的地方。根据列的数据类型,快速洞察会显示数据的分布或数据点的频率,以及缺失值和唯一值。
-
数据网格为您提供一个可滚动的窗格,您可以在其中查看整个数据集。
编辑模式界面
切换到编辑模式会在 Data Wrangler 中启用其他功能和用户界面元素。在以下屏幕截图中,我们使用 Data Wrangler 将最后一列中的缺失值替换为该列的中位数。
-
操作面板是您可以在其中搜索 Data Wrangler 的所有内置数据操作的地方。操作按类别组织。
-
清理步骤面板显示先前应用的所有操作的列表。它使用户可以撤消特定操作或编辑最近的操作。选择一个步骤将突出显示数据差异视图中的更改,并显示与该操作关联的生成的代码。
-
导出菜单允许您将代码导出回 Jupyter Notebook 或将数据导出到新文件。
-
当您选择了一个操作并预览其对数据的影响时,网格会覆盖一个数据差异视图,显示您对数据所做的更改。
-
代码预览部分显示在选择操作时 Data Wrangler 生成的 Python 和 Pandas 代码。未选择任何操作时,它将保持为空。您可以编辑生成的代码,这将导致数据网格突出显示对数据的影响。
Data Wrangler 操作
内置的 Data Wrangler 操作可以从操作面板中选择。
下表列出了 Data Wrangler 初始版本中当前支持的 Data Wrangler 操作。我们计划在不久的将来添加更多操作。
操作 | 描述 |
---|---|
排序 | 按升序或降序对列进行排序 |
筛选 | 根据一个或多个条件筛选行 |
计算文本长度 | 创建新列,其值等于文本列中每个字符串值的长度 |
独热编码 | 将分类数据拆分为每个类别的新列 |
多标签二值化器 | 使用分隔符将分类数据拆分为每个类别的新列 |
从公式创建列 | 使用自定义 Python 公式创建列 |
更改列类型 | 更改列的数据类型 |
删除列 | 删除一个或多个列 |
选择列 | 选择一个或多个要保留的列,并删除其余列 |
重命名列 | 重命名一个或多个列 |
克隆列 | 创建一个或多个列的副本 |
删除缺失值 | 删除包含缺失值的行 |
删除重复行 | 删除在一个或多个列中具有重复值的所有行 |
填充缺失值 | 用新值替换包含缺失值的单元格 |
查找和替换 | 用匹配的模式替换单元格 |
按列分组和聚合 | 按列分组和聚合结果 |
去除空格 | 删除文本开头和结尾的空格 |
拆分文本 | 根据用户定义的分隔符将列拆分为多个列 |
首字母大写 | 将首字母转换为大写,其余转换为小写 |
将文本转换为小写 | 将文本转换为小写 |
将文本转换为大写 | 将文本转换为大写 |
按示例进行字符串转换 | 当从您提供的示例中检测到模式时,自动执行字符串转换 |
按示例进行 DateTime 格式化 | 当从您提供的示例中检测到模式时,自动执行 DateTime 格式化 |
按示例创建新列 | 当从您提供的示例中检测到模式时,自动创建列。 |
缩放最小值/最大值 | 在最小值和最大值之间缩放数值列 |
四舍五入 | 将数字四舍五入到指定的小数位数 |
向下舍入(向下取整) | 将数字向下舍入到最接近的整数 |
向上舍入(向上取整) | 将数字向上舍入到最接近的整数 |
自定义操作 | 根据示例和现有列的派生自动创建新列 |
如果缺少某个您希望在 Data Wrangler 中看到支持的操作,请在我们的 Data Wrangler GitHub 存储库 中提交功能请求。
修改之前的步骤
可以通过清理步骤面板修改生成的代码的每个步骤。首先,选择您要修改的步骤。然后,当您对操作进行更改时(通过代码或操作面板),您的更改对数据的影响将在网格视图中突出显示。
编辑和导出代码
完成 Data Wrangler 中的数据清理步骤后,有三种方法可以从 Data Wrangler 导出清理后的数据集。
- 将代码导出回 Notebook 并退出: 这将在您的 Jupyter Notebook 中创建一个新单元格,其中包含您生成的所有数据清理代码,并打包成一个 Python 函数。
- 将数据导出到文件: 这会将清理后的数据集另存为机器上的新 CSV 或 Parquet 文件。
- 将代码复制到剪贴板: 这会将 Data Wrangler 为数据清理操作生成的所有代码复制到剪贴板。
搜索列
要查找数据集中的特定列,请从 Data Wrangler 工具栏中选择转到列,然后搜索相应的列。
故障排除
常规 Kernel 连接问题
对于常规连接问题,请参阅上面“连接到 Python Kernel”部分,了解连接的替代方法。要调试与本地 Python 解释器选项相关的问题,一种可能的解决方法是安装不同版本的 Jupyter 和 Python 扩展。例如,如果安装了扩展的稳定版本,您可以安装预发布版本(反之亦然)。
要清除已缓存的 Kernel,您可以从命令面板运行 Data Wrangler: 清除缓存的运行时
命令 ⇧⌘P (Windows, Linux Ctrl+Shift+P)。
打开数据文件时出现 UnicodeDecodeError
如果您直接从 Data Wrangler 打开数据文件时遇到 UnicodeDecodeError
,则可能是由以下两个可能的问题引起的:
- 您尝试打开的文件的编码不是
UTF-8
- 文件已损坏。
要解决此错误,您需要从 Jupyter Notebook 而不是直接从数据文件打开 Data Wrangler。使用 Jupyter Notebook 使用 Pandas 读取文件,例如使用 read_csv 方法。在 read
方法中,使用 encoding
和/或 encoding_errors
参数来定义要使用的编码或如何处理编码错误。如果您不知道哪种编码可能适用于此文件,您可以尝试使用 chardet 等库来尝试推断有效的编码。
问题和反馈
如果您有任何问题、功能请求或任何其他反馈,请在我们的 GitHub 存储库上提交 Issue:https://github.com/microsoft/vscode-data-wrangler/issues/new/choose
数据和遥测
Microsoft Visual Studio Code 的 Data Wrangler 扩展收集使用情况数据并将其发送给 Microsoft,以帮助改进我们的产品和服务。阅读我们的隐私声明以了解更多信息。此扩展遵循 telemetry.telemetryLevel
设置,您可以在 https://vscode.js.cn/docs/getstarted/telemetry 了解更多信息。