VS Code 中的数据科学教程

本教程演示了如何使用 Visual Studio Code 和 Microsoft Python 扩展以及常用数据科学库来探索一个基本的数据科学场景。具体来说，您将使用泰坦尼克号的乘客数据学习如何设置数据科学环境、导入和清理数据、创建用于预测泰坦尼克号生存情况的机器学习模型，以及评估生成模型的准确性。

先决条件

完成本教程需要以下安装。如果尚未安装，请务必安装。

• Visual Studio Code

• 来自 Visual Studio Marketplace 的 VS Code 的 Python 扩展和 VS Code 的 Jupyter 扩展。有关安装扩展的更多详细信息，请参阅扩展市场。这两个扩展均由 Microsoft 发布。

• 带有最新 Python 的 Miniconda

  注意：如果您已经安装了完整的 Anaconda 发行版，则无需安装 Miniconda。或者，如果您不想使用 Anaconda 或 Miniconda，可以创建一个 Python 虚拟环境，并使用 pip 安装本教程所需的包。如果选择此方式，您需要安装以下包：pandas、jupyter、seaborn、scikit-learn、keras 和 tensorflow。

设置数据科学环境

Visual Studio Code 和 Python 扩展为数据科学场景提供了一个出色的编辑器。凭借对 Jupyter 笔记本的原生支持以及 Anaconda，入门非常容易。在本节中，您将为本教程创建一个工作区，使用本教程所需的数据科学模块创建一个 Anaconda 环境，并创建一个 Jupyter 笔记本，您将使用它来创建机器学习模型。

1. 首先为数据科学教程创建一个 Anaconda 环境。打开 Anaconda 命令提示符并运行 conda create -n myenv python=3.10 pandas jupyter seaborn scikit-learn keras tensorflow 以创建一个名为 myenv 的环境。有关创建和管理 Anaconda 环境的更多信息，请参阅 Anaconda 文档。

2. 接下来，在方便的位置创建一个文件夹，作为本教程的 VS Code 工作区，将其命名为 hello_ds。

3. 通过运行 VS Code 并使用 文件 > 打开文件夹 命令在 VS Code 中打开项目文件夹。由于是您自己创建的，因此可以安全信任打开该文件夹。

4. VS Code 启动后，创建用于本教程的 Jupyter 笔记本。打开命令面板 (⇧⌘P (Windows, Linux Ctrl+Shift+P)) 并选择 创建：新建 Jupyter 笔记本。

   

   注意：或者，从 VS Code 文件资源管理器中，您可以使用“新建文件”图标创建一个名为 hello.ipynb 的笔记本文件。

5. 使用 文件 > 另存为... 将文件保存为 hello.ipynb。

6. 文件创建后，您应该在笔记本编辑器中看到打开的 Jupyter 笔记本。有关原生 Jupyter 笔记本支持的更多信息，您可以阅读Jupyter 笔记本主题。

   

7. 现在，选择笔记本右上角的 选择内核。

   

8. 选择您上面创建的 Python 环境以运行您的内核。

   

9. 要从 VS Code 的集成终端管理您的环境，请使用 (⌃` (Windows, Linux Ctrl+`)) 打开它。如果您的环境未激活，您可以像在终端中一样激活它 (conda activate myenv)。

准备数据

本教程使用 OpenML.org 上提供的 泰坦尼克号数据集，该数据集来自范德堡大学生物统计系 https://hbiostat.org/data。泰坦尼克号数据提供了关于泰坦尼克号乘客生存情况的信息，以及乘客的年龄和票务等级等特征。使用这些数据，本教程将建立一个模型，用于预测给定乘客是否能在泰坦尼克号沉没中幸存。本节展示了如何在 Jupyter 笔记本中加载和操作数据。

1. 首先，从 hbiostat.org 下载泰坦尼克号数据作为 CSV 文件（右上角有下载链接），命名为 titanic3.csv，并将其保存到您在上一节中创建的 hello_ds 文件夹中。

2. 如果您尚未在 VS Code 中打开该文件，请通过 文件 > 打开文件夹 打开 hello_ds 文件夹和 Jupyter 笔记本 (hello.ipynb)。

3. 在您的 Jupyter 笔记本中，首先导入 pandas 和 numpy 库（两个常用的数据操作库），并将泰坦尼克号数据加载到 pandas DataFrame 中。为此，请将以下代码复制到笔记本的第一个单元格中。有关在 VS Code 中使用 Jupyter 笔记本的更多指导，请参阅使用 Jupyter 笔记本文档。

   import pandas as pd
   import numpy as np
   data = pd.read_csv('titanic3.csv')
   

4. 现在，使用“运行单元格”图标或 Shift+Enter 快捷方式运行该单元格。

   

5. 单元格运行完成后，您可以使用变量浏览器和数据查看器查看已加载的数据。首先选择笔记本上方工具栏中的变量图标。

   

6. VS Code 底部将打开一个 JUPYTER: VARIABLES 面板。它包含当前运行内核中已定义变量的列表。

   

7. 要查看之前加载到 Pandas DataFrame 中的数据，请选择 data 变量左侧的数据查看器图标。

   

8. 使用数据查看器查看、排序和筛选数据行。审查数据后，绘制其某些方面图表以帮助可视化不同变量之间的关系会很有帮助。

   

   或者，您可以使用其他扩展（如 Data Wrangler）提供的数据查看体验。Data Wrangler 扩展提供了一个丰富的用户界面，可以显示有关数据的信息，并帮助您执行数据分析、质量检查、转换等。在我们的文档中了解更多关于 Data Wrangler 扩展的信息。

9. 在绘制数据图表之前，您需要确保数据没有问题。如果您查看泰坦尼克号 csv 文件，您会注意到问号（"?"）用于标识数据不可用的单元格。

   虽然 Pandas 可以将此值读入 DataFrame，但对于像age这样的列，其数据类型将被设置为object而不是数值数据类型，这对于绘图来说是有问题的。

   可以通过将问号替换为 Pandas 能够理解的缺失值来纠正此问题。将以下代码添加到笔记本的下一个单元格中，以将age和fare列中的问号替换为 numpy NaN 值。请注意，替换值后我们还需要更新列的数据类型。

   提示：要添加新单元格，您可以使用现有单元格左下角的插入单元格图标。或者，您也可以使用 Esc 进入命令模式，然后按 B 键。

   data.replace('?', np.nan, inplace= True)
   data = data.astype({"age": np.float64, "fare": np.float64})
   

   注意：如果您需要查看列使用的数据类型，可以使用 DataFrame dtypes 属性。

10. 现在数据已准备好，您可以使用 seaborn 和 matplotlib 查看数据集中某些列与生存率的关系。将以下代码添加到笔记本的下一个单元格中并运行它，以查看生成的图表。

    import seaborn as sns
    import matplotlib.pyplot as plt
    
    fig, axs = plt.subplots(ncols=5, figsize=(30,5))
    sns.violinplot(x="survived", y="age", hue="sex", data=data, ax=axs[0])
    sns.pointplot(x="sibsp", y="survived", hue="sex", data=data, ax=axs[1])
    sns.pointplot(x="parch", y="survived", hue="sex", data=data, ax=axs[2])
    sns.pointplot(x="pclass", y="survived", hue="sex", data=data, ax=axs[3])
    sns.violinplot(x="survived", y="fare", hue="sex", data=data, ax=axs[4])
    

    

    提示：要快速复制图表，您可以将鼠标悬停在图表的右上角，然后单击出现的复制到剪贴板按钮。您还可以通过单击展开图像按钮更好地查看图表细节。

    

11. 这些图表有助于了解生存率与数据输入变量之间的一些关系，但也可以使用 pandas 计算相关性。为此，所有使用的变量都需要是数值才能进行相关性计算，而目前性别存储为字符串。要将这些字符串值转换为整数，请添加并运行以下代码。

    data.replace({'male': 1, 'female': 0}, inplace=True)
    

12. 现在，您可以分析所有输入变量之间的相关性，以识别最适合作为机器学习模型输入的特征。值越接近 1，该值与结果之间的相关性就越高。使用以下代码关联所有变量与生存率之间的关系。

    data.corr(numeric_only=True).abs()[["survived"]]
    

    

13. 查看相关性结果，您会注意到一些变量，如性别，与生存率有相当高的相关性，而另一些变量，如亲属（sibsp = 兄弟姐妹或配偶，parch = 父母或子女），似乎相关性很小。

    让我们假设 sibsp 和 parch 在它们影响生存能力的方式上是相关的，并将它们分组到一个名为“relatives”的新列中，看看它们的组合是否与生存能力有更高的相关性。为此，您将检查对于给定的乘客，sibsp 和 parch 的数量是否大于 0，如果是，则可以说他们船上有亲属。

    使用以下代码在数据集中创建一个名为 relatives 的新变量和列，然后再次检查相关性。

    data['relatives'] = data.apply (lambda row: int((row['sibsp'] + row['parch']) > 0), axis=1)
    data.corr(numeric_only=True).abs()[["survived"]]
    

    

14. 您会注意到，事实上，从一个人是否有亲属的角度来看，而不是亲属数量的角度来看，与生存有更高的相关性。有了这些信息，您现在可以从数据集中删除低值的 sibsp 和 parch 列，以及所有包含 NaN 值的行，从而得到一个可以用于训练模型的数据集。

    data = data[['sex', 'pclass','age','relatives','fare','survived']].dropna()
    

    注意：尽管年龄的直接相关性较低，但它被保留了下来，因为与其它输入结合使用时，它仍然可能具有相关性，这似乎是合理的。

训练和评估模型

数据集准备就绪后，您现在可以开始创建模型了。在本节中，您将使用 scikit-learn 库（因为它提供了一些有用的辅助函数）进行数据集预处理，训练一个分类模型以确定泰坦尼克号的生存能力，然后使用该模型和测试数据来确定其准确性。

1. 训练模型的一个常见第一步是将数据集分成训练数据和验证数据。这允许您使用一部分数据来训练模型，使用一部分数据来测试模型。如果您使用所有数据来训练模型，您将无法估计模型对尚未见过的数据的实际表现。scikit-learn 库的一个优点是它提供了一个专门用于将数据集拆分为训练数据和测试数据的方法。

   在笔记本中添加并运行一个包含以下代码的单元格以分割数据。

   from sklearn.model_selection import train_test_split
   x_train, x_test, y_train, y_test = train_test_split(data[['sex','pclass','age','relatives','fare']], data.survived, test_size=0.2, random_state=0)
   

2. 接下来，您将对输入进行归一化，以便所有特征都得到平等对待。例如，在数据集中，年龄的取值范围约为 0-100，而性别的取值仅为 1 或 0。通过归一化所有变量，您可以确保所有值的范围都相同。在新代码单元格中使用以下代码来缩放输入值。

   from sklearn.preprocessing import StandardScaler
   sc = StandardScaler()
   X_train = sc.fit_transform(x_train)
   X_test = sc.transform(x_test)
   

3. 有许多不同的机器学习算法可供选择来建模数据。scikit-learn 库也为其中许多算法提供支持，并提供一个 图表 来帮助您选择适合您场景的算法。目前，我们使用 朴素贝叶斯算法，这是一种用于分类问题的常用算法。添加一个包含以下代码的单元格来创建和训练该算法。

   from sklearn.naive_bayes import GaussianNB
   model = GaussianNB()
   model.fit(X_train, y_train)
   

4. 有了训练好的模型，您现在可以尝试将其应用于从训练中保留下来的测试数据集。添加并运行以下代码以预测测试数据的结果并计算模型的准确性。

   from sklearn import metrics
   predict_test = model.predict(X_test)
   print(metrics.accuracy_score(y_test, predict_test))
   

   

   查看测试数据的结果，您会发现训练好的算法在预测生存率方面的成功率约为 75%。

（可选）使用神经网络

神经网络是一种使用权重和激活函数（模拟人类神经元）来根据提供的输入确定结果的模型。与您之前看到的机器学习算法不同，神经网络是一种深度学习形式，您无需预先知道问题集的理想算法。它可用于许多不同的场景，分类就是其中之一。在本节中，您将使用 Keras 库和 TensorFlow 来构建神经网络，并探索它如何处理泰坦尼克号数据集。

1. 第一步是导入所需的库并创建模型。在这种情况下，您将使用 Sequential 神经网络，它是一种分层神经网络，其中有多个层依次相互馈送。

   from keras.models import Sequential
   from keras.layers import Dense
   
   model = Sequential()
   

2. 定义模型后，下一步是添加神经网络的层。现在，我们保持简单，只使用三层。添加以下代码来创建神经网络的层。

   model.add(Dense(5, kernel_initializer = 'uniform', activation = 'relu', input_dim = 5))
   model.add(Dense(5, kernel_initializer = 'uniform', activation = 'relu'))
   model.add(Dense(1, kernel_initializer = 'uniform', activation = 'sigmoid'))
   

   • 第一层将设置为维度为 5，因为您有五个输入：性别、pclass、年龄、亲属和票价。
   • 最后一层必须输出 1，因为您需要一个一维输出，指示乘客是否会幸存。
   • 中间层为了简单起见保持为 5，尽管该值可能有所不同。

   修正线性单元 (relu) 激活函数被用作前两层的良好通用激活函数，而 sigmoid 激活函数对于最后一层是必需的，因为您想要（乘客是否幸存）的输出需要缩放范围在 0-1 之间（乘客幸存的概率）。

   您也可以使用此代码行查看您构建的模型的摘要。

   model.summary()
   

   

3. 模型创建完成后，需要进行编译。作为此过程的一部分，您需要定义将使用哪种优化器、如何计算损失以及应该优化哪种指标。添加以下代码以构建和训练模型。您会注意到，训练后，准确率约为 61%。

   注意：此步骤可能需要几秒到几分钟才能运行，具体取决于您的机器。

   model.compile(optimizer="adam", loss='binary_crossentropy', metrics=['accuracy'])
   model.fit(X_train, y_train, batch_size=32, epochs=50)
   

   

4. 现在模型已构建并训练完成，我们可以看看它在测试数据上的表现如何。

   y_pred = np.rint(model.predict(X_test).flatten())
   print(metrics.accuracy_score(y_test, y_pred))
   

   

   与训练类似，您会注意到现在预测乘客生存率的准确性为 79%。使用这个简单的神经网络，结果优于之前尝试的朴素贝叶斯分类器的 75% 准确性。

后续步骤

现在您已经熟悉了在 Visual Studio Code 中执行机器学习的基础知识，以下是一些其他值得查看的 Microsoft 资源和教程。

• 数据科学配置文件模板 - 创建一个新的配置文件，其中包含精选的扩展、设置和代码片段。
• 了解更多关于在 Visual Studio Code 中使用 Jupyter Notebooks (视频)。
• 开始使用适用于 VS Code 的 Azure 机器学习，利用 Azure 的强大功能部署和优化您的模型。
• 在 Azure 开放数据集上查找更多可供探索的数据。