1603SVD与降维方法全景

回顾前两节课（1601、1602）：

• 1601：我们学会了PCA的核心思想——找方差最大的投影方向，用散点图探索数据结构。
• 1602：我们学会了PCA的数学直觉——投影、碎石图、累计方差曲线。

核心疑问：

1. 我们一直在用 sklearn.decomposition.PCA，但它在计算机内部到底是怎么算的？
2. PCA是不是降维的唯一工具？还有没有其他降维方法？
3. 面对不同类型的数据和分析目标，我们该怎么选择降维方法？

本节课定位：

本节课是“降维方法论”的收官之课。我们将回答三个问题： ① PCA的幕后英雄是谁？（SVD） ② 除了PCA还有什么？（t-SNE） ③ 什么时候用什么方法？（选型决策）

引出SVD——“幕后英雄”的比喻：

• 你去餐厅点了一道“红烧鱼”（PCA）。
• 鱼是厨师用“灶台和锅”（SVD）做出来的。
• 你作为食客，只需要知道“这道菜很好吃”（PCA降维效果好），不需要知道灶台的具体构造。
• 但如果你想成为一名厨师（进阶学习），了解一下灶台的工作原理会很有帮助。

本节课的教学原则：

SVD不提数学公式，只讲“它是做什么的”和“它和PCA什么关系”。t-SNE重点讲“它和PCA有什么不同”。

1. SVD的全称与定位

2. PCA与SVD的关系（一句话说清）

PCA是降维的方法，SVD是计算PCA的数学工具。

详细解释：

• 当你调用 PCA(n_components=2).fit(X) 时：
  1. sklearn先在后台调用SVD算法，对数据矩阵进行分解。
  2. SVD计算出主成分的方向和每个主成分的方差比例。
  3. 返回给你PC1、PC2和 explained_variance_ratio_。

3. SVD的“存在感”在哪里？

在sklearn中，有一个专门的类叫 TruncatedSVD，它可以直接使用SVD进行降维：

1from sklearn.decomposition import TruncatedSVD
2
3# 直接使用SVD降维（等同于PCA，但不包含中心化步骤）
4svd = TruncatedSVD(n_components=2)
5X_svd = svd.fit_transform(X)

但注意：在实际使用中，PCA 类是更常用、更完整的封装（它包含了数据中心化等预处理步骤）。TruncatedSVD 通常用于稀疏矩阵（如文本数据的词频矩阵）的降维。

4. 职高学生需要记住的三件事

⚠️ 记住：你不需要知道灶台怎么造，只需要知道菜是谁做的。

1. 为什么还需要t-SNE？——PCA的局限性

2. t-SNE的核心思想——“保持邻居关系”

• PCA的思路：找方差最大的方向（全局视角）。
• t-SNE的思路：保持样本之间的“相似性”关系——相似的样本在降维后依然靠近，不相似的样本在降维后依然远离（局部视角）。

生活类比 ——“朋友圈布局”：

想象你要把班级里30个同学的关系画在一张纸上（降维到2维）：

• PCA的做法：把所有同学按“身高”和“体重”两个方向拉开。如果两个人的身高体重都差不多，在图上就靠近。
• t-SNE的做法：先问每个同学“你和谁是好朋友？”（相似性），然后把这些“好朋友关系”尽量保持到2D图上。如果A和B是好友，在图上就尽量靠近；A和C不是好友，在图上就尽量远离。

t-SNE特别擅长揭示数据中的“局部聚类结构”。

3. PCA vs t-SNE —— 核心区别

4. t-SNE的使用警告

⚠️ t-SNE只用于可视化，不用于建模前预处理！

• t-SNE降维后的坐标没有物理意义，不能送入模型训练。
• t-SNE的结果具有随机性，每次运行可能略有不同。
• t-SNE计算非常慢，不适合大数据集（建议样本数<5000）。

1. 实验目标

在手写数字数据集上，分别用PCA和t-SNE将64维降到2维，对比两种方法的：

• 聚类效果（不同数字是否分得更开）
• 运行时间

2. 完整代码

 1import numpy as np
 2import matplotlib.pyplot as plt
 3import time
 4from sklearn.datasets import load_digits
 5from sklearn.decomposition import PCA
 6from sklearn.manifold import TSNE
 7from sklearn.preprocessing import StandardScaler
 8
 9# 加载数据
10digits = load_digits()
11X, y = digits.data, digits.target
12print(f"数据形状: {X.shape}")  # (1797, 64)
13
14# 标准化（PCA需要，t-SNE也建议）
15scaler = StandardScaler()
16X_scaled = scaler.fit_transform(X)
17
18# ============================================
19# PCA降维
20# ============================================
21print("\n=== PCA 降维 ===")
22start = time.time()
23pca = PCA(n_components=2)
24X_pca = pca.fit_transform(X_scaled)
25pca_time = time.time() - start
26print(f"耗时: {pca_time:.4f}秒")
27print(f"保留信息: {sum(pca.explained_variance_ratio_):.4f}")
28
29# ============================================
30# t-SNE降维
31# ============================================
32print("\n=== t-SNE 降维 ===")
33# t-SNE建议设置random_state保证可复现
34start = time.time()
35tsne = TSNE(n_components=2, random_state=42, perplexity=30)
36X_tsne = tsne.fit_transform(X_scaled)
37tsne_time = time.time() - start
38print(f"耗时: {tsne_time:.4f}秒")
39
40# ============================================
41# 可视化对比（并排展示）
42# ============================================
43fig, axes = plt.subplots(1, 2, figsize=(14, 6))
44
45# 左图：PCA
46axes[0].scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='tab10', s=20, alpha=0.7)
47axes[0].set_title(f'PCA降维\n耗时: {pca_time:.2f}秒', fontsize=12)
48axes[0].set_xlabel('第一主成分')
49axes[0].set_ylabel('第二主成分')
50axes[0].grid(True, alpha=0.3)
51
52# 右图：t-SNE
53axes[1].scatter(X_tsne[:, 0], X_tsne[:, 1], c=y, cmap='tab10', s=20, alpha=0.7)
54axes[1].set_title(f't-SNE降维\n耗时: {tsne_time:.2f}秒', fontsize=12)
55axes[1].set_xlabel('t-SNE 维度1')
56axes[1].set_ylabel('t-SNE 维度2')
57axes[1].grid(True, alpha=0.3)
58
59plt.suptitle('PCA vs t-SNE: 手写数字（64维→2维）降维对比', fontsize=14)
60plt.tight_layout()
61plt.show()
62
63# ============================================
64# 速度对比结果
65# ============================================
66print("\n=== 速度对比 ===")
67print(f"PCA 耗时:   {pca_time:.4f}秒")
68print(f"t-SNE 耗时: {tsne_time:.4f}秒")
69print(f"t-SNE 是 PCA 的 {tsne_time/pca_time:.1f} 倍")

3. 运行结果解读（典型输出）

4. 核心结论

PCA：速度快，适合建模前预处理，但聚类效果一般。 t-SNE：可视化效果好，但速度极慢，只用于探索性分析。

1. 完整对比表格

2. 选型决策流程图

flowchart TD
    A["📊 拿到高维数据"] --> B{"你的目标是什么？"}
B -->|"建模前预处理<br>（压缩特征加速训练）"| C["✅ 选择 PCA"]
C --> C1["速度快、可解释、可送模型"]

B -->|"探索性可视化<br>（想看清数据分组结构）"| D{"数据量多大？"}
D -->|"≤ 5000 样本"| E["✅ 选择 t-SNE"]
E --> E1["可视化效果好、聚类清晰"]
D -->|"> 5000 样本"| F["⚠️ t-SNE太慢 → 先用PCA降维到50维<br>再用t-SNE降到2维（两步降维）"]

B -->|"处理稀疏矩阵<br>（文本词频数据）"| G["✅ 选择 TruncatedSVD"]
G --&gt; G1[&#34;专门针对稀疏矩阵优化&#34;]</pre>

3. 职高学生需要记住的核心结论

	

			

					
场景
					
推荐方法
					
一句话理由
			
	
	

			

					
要训练模型，特征太多跑不动
					
PCA
					
快，可解释，可送进模型
			
			

					
要画图给老板看数据分组
					
t-SNE（样本<5000时）
					
视觉效果最好，簇清晰
			
			

					
数据量超大（数万样本）
					
PCA + t-SNE 两步降维
					
先PCA降维降速，再t-SNE画图
			
			

					
处理文本词频矩阵
					
TruncatedSVD
					
专门处理稀疏矩阵
			
	

4. 本系列三节课知识全景回顾

	

			

					
课次
					
核心主题
					
关键收获
			
	
	

			

					
1601
					
PCA思想与几何直觉
					
降维是“探路者”——先降维看结构，再选方法深入分析
			
			

					
1602
					
PCA数学直觉与信息保留
					
投影、碎石图、累计曲线——科学选择降维维度
			
			

					
1603
					
SVD与降维方法全景
					
SVD是幕后英雄，t-SNE是可视化专家，三种方法各有所长