现已推出！阅读有关 11 月份新功能和修复的信息。

VS Code 中的数据科学教程

本教程演示如何使用 Visual Studio Code 和 Microsoft Python 扩展以及常见的数据科学库来探索基本的数据科学场景。具体来说，使用泰坦尼克号的乘客数据，你将学习如何设置数据科学环境，导入和清理数据，创建用于预测泰坦尼克号上生存率的机器学习模型，并评估生成模型的准确性。

先决条件

完成本教程需要安装以下组件。如果尚未安装，请确保安装它们。

  • Visual Studio Code

  • 来自 Visual Studio Marketplace 的 VS Code 的 Python 扩展和 VS Code 的 Jupyter 扩展。有关安装扩展的更多详细信息，请参阅扩展市场。这两个扩展均由 Microsoft 发布。

  • 具有最新 Python 版本的 Miniconda

    注意：如果已安装完整的 Anaconda 发行版，则无需安装 Miniconda。或者，如果你不想使用 Anaconda 或 Miniconda，你可以创建一个 Python 虚拟环境，并使用 pip 安装本教程所需的包。如果选择此方法，则需要安装以下包：pandas、jupyter、seaborn、scikit-learn、keras 和 tensorflow。

设置数据科学环境

Visual Studio Code 和 Python 扩展为数据科学场景提供了出色的编辑器。借助对 Jupyter 笔记本的原生支持以及 Anaconda，入门很容易。在本节中，你将为本教程创建一个工作区，使用本教程所需的数据科学模块创建一个 Anaconda 环境，并创建一个 Jupyter 笔记本，用于创建机器学习模型。

  1. 首先，为数据科学教程创建一个 Anaconda 环境。打开 Anaconda 命令提示符并运行 conda create -n myenv python=3.10 pandas jupyter seaborn scikit-learn keras tensorflow 以创建一个名为 myenv 的环境。有关创建和管理 Anaconda 环境的更多信息，请参阅Anaconda 文档。

  2. 接下来，在方便的位置创建一个文件夹，作为本教程的 VS Code 工作区，将其命名为 hello_ds。

  3. 通过运行 VS Code 并使用 文件 > 打开文件夹 命令，在 VS Code 中打开项目文件夹。你可以安全地信任打开该文件夹，因为它是你创建的。

  4. VS Code 启动后，创建将用于本教程的 Jupyter 笔记本。打开命令面板（⇧⌘P（Windows、Linux Ctrl+Shift+P）），然后选择 创建：新建 Jupyter 笔记本。

    Creating a new Jupyter Notebook

    注意：或者，在 VS Code 文件资源管理器中，你可以使用“新建文件”图标创建名为 hello.ipynb 的笔记本文件。

  5. 使用 文件 > 另存为... 将文件另存为 hello.ipynb。

  6. 创建文件后，你应该会在笔记本编辑器中看到打开的 Jupyter 笔记本。有关本机 Jupyter 笔记本支持的更多信息，你可以阅读Jupyter 笔记本主题。

    Viewing a new Jupyter Notebook

  7. 现在，在笔记本的右上角选择 选择内核。

    Selecting a Jupyter Notebook Kernel

  8. 选择你上面创建的 Python 环境来运行内核。

    Choose a kernel from created environment

  9. 要从 VS Code 的集成终端管理你的环境，请使用（⌃`（Windows、Linux Ctrl+`））打开它。如果你的环境未激活，你可以像在终端中一样激活它 (conda activate myenv)。

准备数据

本教程使用 泰坦尼克号数据集，该数据集可在 OpenML.org 上获得，该数据集取自范德比尔特大学的生物统计系，网址为 https://hbiostat.org/data。泰坦尼克号的数据提供了有关泰坦尼克号乘客生存情况以及乘客的年龄和船票等级等特征的信息。利用这些数据，本教程将建立一个模型来预测给定乘客是否会在泰坦尼克号沉没中幸存下来。本节介绍如何在 Jupyter 笔记本中加载和操作数据。

  1. 首先，从 hbiostat.org 下载泰坦尼克号数据作为 CSV 文件（右上角有下载链接），命名为 titanic3.csv 并将其保存到你在上一节中创建的 hello_ds 文件夹中。

  2. 如果你尚未在 VS Code 中打开该文件，请转到 文件 > 打开文件夹，打开 hello_ds 文件夹和 Jupyter 笔记本 (hello.ipynb)。

  3. 在你的 Jupyter 笔记本中，首先导入 pandas 和 numpy 库，这两个库是用于操作数据的常用库，并将泰坦尼克号数据加载到 pandas DataFrame 中。为此，请将以下代码复制到笔记本的第一个单元格中。有关在 VS Code 中使用 Jupyter 笔记本的更多指导，请参阅使用 Jupyter 笔记本文档。

    import pandas as pd
import numpy as np
data = pd.read_csv('titanic3.csv')

  4. 现在，使用“运行单元格”图标或 Shift+Enter 快捷键运行单元格。

    Running a Jupyter notebook cell

  5. 单元格运行完毕后，可以使用“变量资源管理器”和“数据查看器”查看加载的数据。首先，选择笔记本上部工具栏中的“变量”图标。

    Select Variables icon

  6. VS Code 底部将打开一个“JUPYTER: 变量”窗格。其中包含运行内核中目前已定义的变量列表。

    Variables pane

  7. 要查看之前加载的 Pandas DataFrame 中的数据，请选择 data 变量左侧的“数据查看器”图标。

    Select Data Viewer icon

  8. 使用数据查看器查看、排序和筛选数据行。查看数据后，绘制其某些方面的图形有助于可视化不同变量之间的关系。

    Data viewer and variable explorer

    或者，你可以使用其他扩展（如 Data Wrangler）提供的数据查看体验。Data Wrangler 扩展提供了一个丰富的用户界面，用于显示有关数据的见解，并帮助你执行数据分析、质量检查、转换等操作。请在我们的文档中了解有关 Data Wrangler 扩展的更多信息。

  9. 在绘制数据图形之前，你需要确保数据没有任何问题。如果你查看 Titanic csv 文件，你会注意到问号 ("?") 用于标识数据不可用的单元格。

    虽然 Pandas 可以将此值读取到 DataFrame 中，但对于像 age 这样的列，其数据类型将被设置为 object 而不是数字数据类型，这对于绘图是有问题的。

    可以通过将问号替换为 pandas 能够理解的缺失值来纠正此问题。将以下代码添加到笔记本中的下一个单元格，以将 age 和 fare 列中的问号替换为 numpy NaN 值。请注意，在替换值后，我们还需要更新列的数据类型。

    提示：要添加新单元格，可以使用现有单元格左下角的“插入单元格”图标。或者，你也可以使用 Esc 进入命令模式，然后按 B 键。

    data.replace('?', np.nan, inplace= True)
data = data.astype({"age": np.float64, "fare": np.float64})

    注意：如果你需要查看列使用的数据类型，可以使用 DataFrame dtypes 属性。

  10. 现在数据状况良好，可以使用 seaborn 和 matplotlib 查看数据集的某些列与生存率之间的关系。将以下代码添加到笔记本的下一个单元格并运行它，以查看生成的绘图。

    import seaborn as sns
import matplotlib.pyplot as plt

fig, axs = plt.subplots(ncols=5, figsize=(30,5))
sns.violinplot(x="survived", y="age", hue="sex", data=data, ax=axs[0])
sns.pointplot(x="sibsp", y="survived", hue="sex", data=data, ax=axs[1])
sns.pointplot(x="parch", y="survived", hue="sex", data=data, ax=axs[2])
sns.pointplot(x="pclass", y="survived", hue="sex", data=data, ax=axs[3])
sns.violinplot(x="survived", y="fare", hue="sex", data=data, ax=axs[4])

    Graphing the titanic data

    提示：要快速复制图形，可以将鼠标悬停在图形的右上角，然后单击出现的“复制到剪贴板”按钮。你还可以单击“展开图像”按钮来更好地查看图形的详细信息。

    Plot Viewer Buttons

  11. 这些图形有助于了解生存与数据的输入变量之间的一些关系，但也可以使用 pandas 来计算相关性。为此，所有使用的变量都需要是数字，以便进行相关性计算，而目前性别存储为字符串。要将这些字符串值转换为整数，请添加并运行以下代码。

    data.replace({'male': 1, 'female': 0}, inplace=True)

  12. 现在，你可以分析所有输入变量之间的相关性，以确定哪些特征是机器学习模型的最佳输入。值越接近 1，该值与结果之间的相关性越高。使用以下代码来关联所有变量与生存之间的关系。

    data.corr(numeric_only=True).abs()[["survived"]]

    Determining the correlation between input variables and survival

  13. 查看相关性结果，你会注意到某些变量（如性别）与生存率的相关性相当高，而其他变量（如亲属 (sibsp = 兄弟姐妹或配偶，parch = 父母或子女)）似乎几乎没有相关性。

    让我们假设 sibsp 和 parch 在它们如何影响生存率方面是相关的，并将它们分组到一个名为“relatives”的新列中，以查看它们的组合是否与生存率具有更高的相关性。为此，你将检查对于给定的乘客，sibsp 和 parch 的数量是否大于 0，如果是，则可以说明他们在船上有亲属。

    使用以下代码在数据集中创建一个名为 relatives 的新变量和列，然后再次检查相关性。

    data['relatives'] = data.apply (lambda row: int((row['sibsp'] + row['parch']) > 0), axis=1)
data.corr(numeric_only=True).abs()[["survived"]]

    Determining the correlation between having relatives and survival

  14. 你会注意到，实际上，从一个人是否有亲属的角度来看，与有多少亲属的角度相比，它与生存率的相关性更高。掌握这些信息后，你现在可以从数据集中删除低值的 sibsp 和 parch 列，以及任何具有 NaN 值的行，最终获得可用于训练模型的数据集。

    data = data[['sex', 'pclass','age','relatives','fare','survived']].dropna()

    注意：虽然年龄的直接相关性较低，但它仍被保留，因为看起来它可能与其他输入一起具有相关性。

训练和评估模型

准备好数据集后，你现在可以开始创建模型。在本节中，你将使用 scikit-learn 库（因为它提供了一些有用的辅助函数）来预处理数据集、训练分类模型以确定泰坦尼克号上的生存率，然后将该模型与测试数据一起使用以确定其准确性。

  1. 训练模型的常见第一步是将数据集划分为训练数据和验证数据。这使你可以使用一部分数据来训练模型，并使用一部分数据来测试模型。如果使用所有数据来训练模型，你将无法估计该模型在模型尚未见过的数据上的实际表现如何。scikit-learn 库的好处是它提供了一种专门用于将数据集拆分为训练数据和测试数据的方法。

    向笔记本添加并运行包含以下代码的单元格以拆分数据。

    from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data[['sex','pclass','age','relatives','fare']], data.survived, test_size=0.2, random_state=0)

  2. 接下来，你将对输入进行归一化，以便所有特征都得到同等对待。例如，在数据集中，年龄值范围约为 0-100，而性别仅为 1 或 0。通过对所有变量进行归一化，你可以确保值范围都相同。在新代码单元格中使用以下代码来缩放输入值。

    from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(x_train)
X_test = sc.transform(x_test)

  3. 你可以从许多不同的机器学习算法中进行选择来对数据进行建模。scikit-learn 库还为 其中许多算法提供了支持，并提供了一个 图表，以帮助你选择适合你的场景的算法。现在，使用 朴素贝叶斯算法，这是一种用于分类问题的常见算法。添加一个包含以下代码的单元格来创建和训练算法。

    from sklearn.naive_bayes import GaussianNB
model = GaussianNB()
model.fit(X_train, y_train)

  4. 训练模型后，你现在可以针对从训练中保留下来的测试数据集进行测试。添加并运行以下代码以预测测试数据的结果并计算模型的准确性。

    from sklearn import metrics
predict_test = model.predict(X_test)
print(metrics.accuracy_score(y_test, predict_test))

    Running the trained model against test data

    查看测试数据的结果，你会发现训练后的算法在估计生存率方面的成功率约为 75%。

（可选）使用神经网络

神经网络是一种使用权重和激活函数的模型，模拟人类神经元的各个方面，以根据提供的输入确定结果。与你之前看到的机器学习算法不同，神经网络是深度学习的一种形式，其中你无需提前知道问题的理想算法。它可以用于许多不同的场景，分类是其中之一。在本节中，你将使用具有 TensorFlow 的 Keras 库来构建神经网络，并探索它如何处理泰坦尼克号数据集。

  1. 第一步是导入所需的库并创建模型。在这种情况下，你将使用 Sequential 神经网络，它是一个分层神经网络，其中有多个层按顺序相互馈送。

    from keras.models import Sequential
from keras.layers import Dense

model = Sequential()

  2. 定义模型后，下一步是添加神经网络的层。现在，让我们保持简单，只使用三层。添加以下代码来创建神经网络的层。

    model.add(Dense(5, kernel_initializer = 'uniform', activation = 'relu', input_dim = 5))
model.add(Dense(5, kernel_initializer = 'uniform', activation = 'relu'))
model.add(Dense(1, kernel_initializer = 'uniform', activation = 'sigmoid'))
    • 第一层将设置为具有维度 5，因为你有 5 个输入：性别、pclass、年龄、亲属和票价。
    • 最后一层必须输出 1，因为你需要一个一维输出，指示乘客是否会存活。
    • 为了简单起见，中间层保持为 5，尽管该值可能不同。

    整流线性单元 (relu) 激活函数用作前两层的良好通用激活函数，而最终层需要 sigmoid 激活函数，因为你想要的结果（乘客是否存活）需要在 0-1 范围内进行缩放（乘客存活的概率）。

    你还可以使用以下代码行查看你构建的模型的摘要

    model.summary()

    Viewing a summary of the sequential neural network

  3. 创建模型后，需要对其进行编译。作为此过程的一部分，你需要定义将使用哪种类型的优化器，如何计算损失，以及应该针对哪个指标进行优化。添加以下代码来构建和训练模型。你会注意到，训练后的准确率约为 61%。

    注意：此步骤可能需要几秒钟到几分钟才能运行，具体取决于你的计算机。

    model.compile(optimizer="adam", loss='binary_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train, batch_size=32, epochs=50)

    Build and train the neural network

  4. 现在，模型已构建并经过训练，我们可以查看它如何针对测试数据工作。

    y_pred = np.rint(model.predict(X_test).flatten())
print(metrics.accuracy_score(y_test, y_pred))

    Evaluate the neural network

    与训练类似，你会注意到你现在在预测乘客的生存率方面具有 79% 的准确率。使用这种简单的神经网络，结果优于之前尝试的朴素贝叶斯分类器的 75% 准确率。

后续步骤

现在你已经熟悉了在 Visual Studio Code 中执行机器学习的基础知识，以下是一些其他 Microsoft 资源和教程可供查看。

1/9/2023