参加你附近的 ，了解 VS Code 中的 AI 辅助开发。

VS Code 中的数据科学教程

本教程演示了如何使用 Visual Studio Code 和 Microsoft Python 扩展与常见数据科学库来探索一个基本的数据科学场景。具体来说，您将使用泰坦尼克号的乘客数据，学习如何设置数据科学环境、导入和清理数据、创建一个用于预测泰坦尼克号生存的机器学习模型，并评估生成模型的准确性。

先决条件

完成本教程需要以下安装。请确保您已经安装了它们。

设置数据科学环境

Visual Studio Code 和 Python 扩展为数据科学场景提供了一个出色的编辑器。结合 Anaconda 对 Jupyter Notebook 的原生支持，入门变得非常简单。在本节中，您将为本教程创建一个工作区，使用本教程所需的数据科学模块创建一个 Anaconda 环境，并创建一个用于创建机器学习模型的 Jupyter Notebook。

  1. 首先，为数据科学教程创建一个 Anaconda 环境。打开 Anaconda 命令提示符并运行 conda create -n myenv python=3.10 pandas jupyter seaborn scikit-learn keras tensorflow 以创建一个名为 myenv 的环境。有关创建和管理 Anaconda 环境的更多信息，请参阅 Anaconda 文档。

  2. 接下来，在方便的位置创建一个文件夹作为本教程的 VS Code 工作区，将其命名为 hello_ds。

  3. 通过运行 VS Code 并使用 文件 > 打开文件夹 命令在 VS Code 中打开项目文件夹。由于您创建了该文件夹，因此可以安全地信任并打开它。

  4. VS Code 启动后，创建将用于本教程的 Jupyter Notebook。打开命令面板（⇧⌘P（Windows、Linux Ctrl+Shift+P））并选择 创建：新建 Jupyter Notebook。

    Creating a new Jupyter Notebook

    注意：或者，从 VS Code 文件资源管理器中，您可以使用“新建文件”图标创建名为 hello.ipynb 的 Notebook 文件。

  5. 使用 文件 > 另存为... 将文件保存为 hello.ipynb。

  6. 文件创建后，您应该会在 Notebook 编辑器中看到打开的 Jupyter Notebook。有关原生 Jupyter Notebook 支持的更多信息，您可以阅读 Jupyter Notebooks 主题。

    Viewing a new Jupyter Notebook

  7. 现在，在 Notebook 的右上角选择 选择内核。

    Selecting a Jupyter Notebook Kernel

  8. 选择您之前创建的 Python 环境以运行您的内核。

    Choose a kernel from created environment

  9. 要从 VS Code 的集成终端管理您的环境，请通过 (⌃` (Windows, Linux Ctrl+`)) 打开它。如果您的环境未激活，您可以像在终端中一样激活它 (conda activate myenv)。

准备数据

本教程使用 OpenML.org 上提供的 泰坦尼克号数据集，该数据集来源于范德堡大学生物统计系 https://hbiostat.org/data。泰坦尼克号数据提供了有关泰坦尼克号乘客生存情况以及乘客特征（例如年龄和票务等级）的信息。使用这些数据，本教程将建立一个模型，用于预测给定乘客是否会在泰坦尼克号沉没中幸存。本节将展示如何在 Jupyter Notebook 中加载和操作数据。

  1. 首先，从 hbiostat.org 下载泰坦尼克号数据，保存为名为 titanic3.csv 的 CSV 文件（右上角有下载链接），并将其保存到您在上一节中创建的 hello_ds 文件夹中。

  2. 如果您尚未在 VS Code 中打开文件，请通过 文件 > 打开文件夹 打开 hello_ds 文件夹和 Jupyter Notebook (hello.ipynb)。

  3. 在您的 Jupyter Notebook 中，首先导入 pandas 和 numpy 库，这两个是用于数据操作的常用库，并将泰坦尼克号数据加载到 pandas DataFrame 中。为此，将以下代码复制到 Notebook 的第一个单元格中。有关在 VS Code 中使用 Jupyter Notebook 的更多指导，请参阅 使用 Jupyter Notebook 文档。

    import pandas as pd
import numpy as np
data = pd.read_csv('titanic3.csv')

  4. 现在，使用运行单元格图标或快捷键 Shift+Enter 运行该单元格。

    Running a Jupyter notebook cell

  5. 单元格运行完成后，您可以使用变量浏览器和数据查看器查看已加载的数据。首先选择 Notebook 上方工具栏中的 变量 图标。

    Select Variables icon

  6. 一个 JUPYTER：变量 面板将在 VS Code 底部打开。它包含您正在运行的内核中迄今为止定义的所有变量的列表。

    Variables pane

  7. 要查看之前加载到 Pandas DataFrame 中的数据，请选择 data 变量左侧的数据查看器图标。

    Select Data Viewer icon

  8. 使用数据查看器查看、排序和筛选数据行。审查数据后，绘制其某些方面以帮助可视化不同变量之间的关系会很有帮助。

    Data viewer and variable explorer

    或者，您可以使用其他扩展（如 Data Wrangler）提供的数据查看体验。Data Wrangler 扩展提供了丰富的用户界面，可以显示有关您数据的洞察，并帮助您执行数据分析、质量检查、转换等。在我们的文档中了解更多关于 Data Wrangler 扩展的信息。

  9. 在数据绘图之前，您需要确保数据没有任何问题。如果您查看泰坦尼克号 csv 文件，您会注意到一个问题是问号 (“?”) 用于标识数据不可用的单元格。

    虽然 Pandas 可以将此值读取到 DataFrame 中，但对于像 age 这样的列，其数据类型将被设置为 object 而不是数字数据类型，这对于绘图来说是有问题的。

    通过用 pandas 能够理解的缺失值替换问号可以纠正这个问题。将以下代码添加到 Notebook 的下一个单元格中，以将 age 和 fare 列中的问号替换为 numpy NaN 值。请注意，替换值后我们还需要更新列的数据类型。

    提示：要添加新单元格，您可以使用现有单元格左下角的插入单元格图标。或者，您也可以使用 Esc 进入命令模式，然后按 B 键。

    data.replace('?', np.nan, inplace= True)
data = data.astype({"age": np.float64, "fare": np.float64})

    注意：如果您需要查看已用于列的数据类型，可以使用 DataFrame dtypes 属性。

  10. 现在数据已整理好，您可以使用 seaborn 和 matplotlib 查看数据集中的某些列与生存率的关系。将以下代码添加到 Notebook 的下一个单元格并运行它以查看生成的图表。

    import seaborn as sns
import matplotlib.pyplot as plt

fig, axs = plt.subplots(ncols=5, figsize=(30,5))
sns.violinplot(x="survived", y="age", hue="sex", data=data, ax=axs[0])
sns.pointplot(x="sibsp", y="survived", hue="sex", data=data, ax=axs[1])
sns.pointplot(x="parch", y="survived", hue="sex", data=data, ax=axs[2])
sns.pointplot(x="pclass", y="survived", hue="sex", data=data, ax=axs[3])
sns.violinplot(x="survived", y="fare", hue="sex", data=data, ax=axs[4])

    Graphing the titanic data

    提示：要快速复制您的图表，您可以将鼠标悬停在图表的右上角，然后单击出现的 复制到剪贴板 按钮。您还可以通过单击 展开图像 按钮更好地查看图表的详细信息。

    Plot Viewer Buttons

  11. 这些图表有助于查看生存率与数据输入变量之间的一些关系，但也可以使用 pandas 计算相关性。为此，所有使用的变量都必须是数值类型才能进行相关性计算，而目前性别存储为字符串。要将这些字符串值转换为整数，请添加并运行以下代码。

    data.replace({'male': 1, 'female': 0}, inplace=True)

  12. 现在，您可以分析所有输入变量之间的相关性，以识别最适合作为机器学习模型输入的特征。值越接近 1，值与结果之间的相关性越高。使用以下代码关联所有变量与生存率之间的关系。

    data.corr(numeric_only=True).abs()[["survived"]]

    Determining the correlation between input variables and survival

  13. 查看相关性结果，您会注意到有些变量（如性别）与生存率具有相当高的相关性，而另一些变量（如亲属（sibsp = 兄弟姐妹或配偶，parch = 父母或子女））似乎相关性很小。

    让我们假设 sibsp 和 parch 在影响生存能力方面是相关的，并将它们分组到一个名为“relatives”的新列中，看看它们的组合是否与生存能力有更高的相关性。为此，您将检查对于给定的乘客，sibsp 和 parch 的数量是否大于 0，如果是，则可以说他们在船上有亲属。

    使用以下代码在数据集中创建一个名为 relatives 的新变量和列，然后再次检查相关性。

    data['relatives'] = data.apply (lambda row: int((row['sibsp'] + row['parch']) > 0), axis=1)
data.corr(numeric_only=True).abs()[["survived"]]

    Determining the correlation between having relatives and survival

  14. 你会注意到，事实上，从一个人是否有亲属的角度来看，而不是有多少亲属，与生存的相关性更高。有了这些信息，你现在可以从数据集中删除低价值的 sibsp 和 parch 列，以及所有具有 NaN 值的行，以得到一个可用于训练模型的数据集。

    data = data[['sex', 'pclass','age','relatives','fare','survived']].dropna()

    注意：尽管年龄的直接相关性较低，但它被保留下来，因为似乎合理，它可能与其他输入一起仍然具有相关性。

训练和评估模型

数据集准备就绪后，您现在可以开始创建模型。对于本节，您将使用 scikit-learn 库（因为它提供了一些有用的辅助函数）来对数据集进行预处理，训练一个分类模型以确定泰坦尼克号上的生存能力，然后使用该模型和测试数据来确定其准确性。

  1. 训练模型的一个常见第一步是将数据集划分为训练数据和验证数据。这允许您使用一部分数据来训练模型，使用一部分数据来测试模型。如果您使用所有数据来训练模型，您将无法估计模型对尚未见过的数据的实际表现。scikit-learn 库的一个优点是它提供了一个专门用于将数据集拆分为训练和测试数据的方法。

    向 Notebook 添加并运行一个包含以下代码的单元格以拆分数据。

    from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data[['sex','pclass','age','relatives','fare']], data.survived, test_size=0.2, random_state=0)

  2. 接下来，您将对输入进行归一化，以使所有特征都受到同等对待。例如，在数据集中，年龄的取值范围约为 0-100，而性别仅为 1 或 0。通过归一化所有变量，您可以确保所有值的范围都相同。在新代码单元格中使用以下代码来缩放输入值。

    from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(x_train)
X_test = sc.transform(x_test)

  3. 您可以选择许多不同的机器学习算法来建模数据。scikit-learn 库也支持其中的许多算法，并提供了一个 图表 来帮助选择适合您场景的算法。目前，我们使用 朴素贝叶斯算法，这是一种用于分类问题的常用算法。添加一个包含以下代码的单元格来创建和训练算法。

    from sklearn.naive_bayes import GaussianNB
model = GaussianNB()
model.fit(X_train, y_train)

  4. 有了训练好的模型，您现在可以将其应用于从训练中保留下来的测试数据集。添加并运行以下代码以预测测试数据的结果并计算模型的准确性。

    from sklearn import metrics
predict_test = model.predict(X_test)
print(metrics.accuracy_score(y_test, predict_test))

    Running the trained model against test data

    查看测试数据的结果，您会发现训练后的算法在估计生存率方面有约 75% 的成功率。

（可选）使用神经网络

神经网络是一种利用权重和激活函数，模拟人类神经元某些方面，根据提供的输入确定结果的模型。与您之前看到的机器学习算法不同，神经网络是一种深度学习形式，您无需预先了解问题的理想算法。它可用于许多不同的场景，分类是其中之一。在本节中，您将使用 Keras 库和 TensorFlow 来构建神经网络，并探索它如何处理泰坦尼克号数据集。

  1. 第一步是导入所需的库并创建模型。在本例中，您将使用 序列 神经网络，它是一种分层神经网络，其中有多个层按顺序相互馈送。

    from keras.models import Sequential
from keras.layers import Dense

model = Sequential()

  2. 定义模型后，下一步是添加神经网络的层。目前，为了简单起见，我们只使用三层。添加以下代码来创建神经网络的层。

    model.add(Dense(5, kernel_initializer = 'uniform', activation = 'relu', input_dim = 5))
model.add(Dense(5, kernel_initializer = 'uniform', activation = 'relu'))
model.add(Dense(1, kernel_initializer = 'uniform', activation = 'sigmoid'))
    • 第一层将被设置为维度为 5，因为您有五个输入：性别、pclass、年龄、亲属和票价。
    • 最后一层必须输出 1，因为您需要一个一维输出，表示乘客是否幸存。
    • 中间层为简单起见保持为 5，尽管该值可以不同。

    修正线性单元（relu）激活函数作为前两层良好的通用激活函数，而 sigmoid 激活函数对于最后一层是必需的，因为您想要（乘客是否幸存）的输出需要缩放到 0-1 的范围（乘客幸存的概率）。

    您还可以使用这行代码查看您构建的模型的摘要

    model.summary()

    Viewing a summary of the sequential neural network

  3. 模型创建完成后，需要对其进行编译。作为此过程的一部分，您需要定义将使用哪种优化器、如何计算损失以及应优化哪个指标。添加以下代码以构建和训练模型。您会注意到，训练后，准确度约为 61%。

    注意：此步骤可能需要几秒钟到几分钟才能运行，具体取决于您的机器。

    model.compile(optimizer="adam", loss='binary_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train, batch_size=32, epochs=50)

    Build and train the neural network

  4. 现在模型已经构建并训练完成，我们可以看看它在测试数据上的表现如何。

    y_pred = np.rint(model.predict(X_test).flatten())
print(metrics.accuracy_score(y_test, y_pred))

    Evaluate the neural network

    与训练类似，您会注意到现在您在预测乘客生存率方面有 79% 的准确率。使用这个简单的神经网络，结果比之前尝试的朴素贝叶斯分类器的 75% 准确率要好。

后续步骤

现在您已经熟悉了在 Visual Studio Code 中执行机器学习的基础知识，以下是一些其他 Microsoft 资源和教程可供查看。

1/9/2023