6-4-1降维与PCA基础

🔄 回顾特征处理流水线

在之前的课程中，我们完成了特征处理的"前半程"：

• 特征缩放（StandardScaler）→ 让不同尺度的特征公平比较
• 特征编码（OneHotEncoder）→ 让文字变成数字
• 特征构造（PolynomialFeatures）→ 创造新特征捕捉非线性关系

今天我们要完成特征处理的最后一环——当特征太多时，如何帮数据"瘦身"。

情景模拟：体检报告太详细，医生看花眼了！

假设你去医院体检，机器给你测了100个指标（身高、体重、血压、心率、血糖、血脂、尿酸……）。这100个指标就是100维特征。

问题来了：

1. 计算太慢：模型处理100维数据，计算距离要算100次减法，电脑卡顿。
2. 过拟合风险：很多指标其实是重复的（比如"收缩压"和"舒张压"高度相关），冗余特征会让模型学歪。
3. 没法画图：人类只能理解3维以内的空间，100维的数据你看不到全貌。

引出解决方案： 聪明的医生不会看全部100项，而是提取几个综合指标，比如**“心血管健康指数”（由血压、血脂合并而来）。这个合并过程就是降维（Dimensionality Reduction）**。

💡 核心提问： 上节课我们用 PolynomialFeatures 把特征从10个变成了65个（特征变多）。今天我们要学的是它的"反向操作"——当特征多到跑不动时，我们把它压缩回去。这就是降维。

📌 本节课定位：

在特征处理章节中，降维是特征工程的最后一环——数据整理好了，但"太胖了"，我们帮它"瘦个身"再送进模型。特征处理流水线的最后一步就是：降维压缩 → 准备建模。

1. 核心思想：找一条"最佳投影线"

想象桌子上撒了一把长条形的豆子（二维数据：X轴和Y轴）。

• 原始坐标：你要用(x, y)两个数描述每颗豆子的位置。
• 降维目标：只用一个数（一维）描述每颗豆子的位置。

怎么做？

• ❌ 错误做法：只取X坐标，抛弃Y坐标（丢掉了豆子在Y方向的高低差异）。
• ✅ PCA做法：画一条穿过豆子群中间、且豆子们在这条线上的投影分散得最开的斜线。

2. 关键术语（只讲意象，不讲公式）

3. 为什么"方差越大=信息越多"？（核心难点，重点讲）

想象你要用一张照片认人：

• 方差小的情况：照片里所有人挤在画面正中央的一小块区域。你很难分清谁是谁——这张照片的区分度低，对你来说信息量很少。
• 方差大的情况：照片里有人站在左边、有人站在右边、有人站在上面。你能更清楚地分辨每个人的位置——这张照片的区分度高，信息量更丰富。

PCA找的正是那个"最能拉开人与人距离"的方向——也就是方差最大的方向。

4. 降维的威力（三个字：快、省、清）

5. ⚠️ 降维的代价（必须强调！）

降维不是免费的午餐。当你把"花瓣长度"和"花瓣宽度"合并成一个"主成分"后，这个新特征虽然能代表两者的综合信息，但你无法再说"它具体代表什么业务含义"。

• 物理意义丢失：主成分是原始特征的线性组合，不再是某个具体的、可命名的指标。
• 业务解释困难：在风控、医疗等需要解释性的场景中，使用PCA要格外慎重。
• 适用场景区分：
  • ✅ 适合PCA：图像识别、推荐系统、信号处理（只关心预测结果）
  • ❌ 不适合PCA：医疗诊断、金融风控、法律合规（需要解释"为什么"）

1. 经典案例：鸢尾花（Iris）数据集

• 原始特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度（4维）。
• 目标：将其降维到2维，然后用散点图画出来，看看三种鸢尾花是否还能区分开。
• 定位：这是特征处理流水线的最后一站——压缩完就可以送进模型了！

2. ⚠️ 动手前的重要提醒——标准化

PCA找的是"方差最大的方向"。如果特征的量纲不同（比如一个特征范围是01，另一个是010000），范围大的特征会天然主导主成分的方向。

本节课使用的鸢尾花数据四个特征量纲接近（都是厘米级），为了聚焦PCA本身，我们暂时省略标准化。

但在真实项目中，PCA前必接StandardScaler！这是铁律。后续课程的项目实战中我们会反复练习。

3. 完整代码（三步走）

 1import numpy as np
 2import matplotlib.pyplot as plt
 3from sklearn.datasets import load_iris
 4from sklearn.decomposition import PCA
 5
 6# 第一步：加载数据
 7iris = load_iris()
 8X = iris.data          # 4维特征
 9y = iris.target        # 标签（3种花）
10target_names = iris.target_names
11
12print("原始数据形状:", X.shape)  # (150, 4)
13
14# 第二步：创建PCA对象，指定降到2维
15pca = PCA(n_components=2)
16X_pca = pca.fit_transform(X)   # 拟合 + 转换一步到位
17
18print("降维后形状:", X_pca.shape)  # (150, 2)
19
20# 第三步：可视化（2D散点图）
21plt.figure(figsize=(8, 6))
22colors = ['red', 'green', 'blue']
23for i, color, name in zip([0, 1, 2], colors, target_names):
24    plt.scatter(X_pca[y == i, 0], X_pca[y == i, 1], 
25                color=color, label=name, alpha=0.7)
26
27plt.xlabel('第一主成分 (PC1)')
28plt.ylabel('第二主成分 (PC2)')
29plt.title('鸢尾花 4维特征 → 2维 PCA 降维可视化')
30plt.legend()
31plt.grid(True)
32plt.show()
33
34# 额外信息：查看每个主成分保留了百分之多少的"信息（方差）"
35print("各主成分解释方差比例:", pca.explained_variance_ratio_)
36print("前两个主成分累计保留信息:", sum(pca.explained_variance_ratio_))

4. 运行结果解读（重要！）

1# 假设计算机输出了以下结果：
2# explained_variance_ratio_ = [0.92, 0.05, 0.02, 0.01]
3# 
4# 解读：
5# - 第一主成分占了 92% 的"信息量"（方差）—— 这一条线就几乎概括了全部数据！
6# - 第二主成分占了 5% —— 加上它，累计达到 97%
7# - 第三、第四加起来不到 3% —— 说明它们基本是"噪音"
8# 
9# 结论：用 2 个主成分替代 4 个原始特征，信息丢失不到 3%，非常划算！

• 散点图上，三种花各自聚成一团，界限清晰——这说明降维没有破坏分类能力！
• 累计保留信息通常能达到95%+，说明2个新特征就能代表原来4个特征95%的信息。
• 这就是特征处理流水线的威力：数据瘦身后依然保持区分度，后续模型训练会快得多！

5. 自动确定维度（省心小技巧）

如果不想指定具体维度，想让程序自动选择能保留95%信息的维度数：

1pca = PCA(n_components=0.95)  # 传浮点数代表保留信息比例
2X_pca = pca.fit_transform(X)
3print("自动保留的特征数:", X_pca.shape[1])