6.6 模型评估：训练集、测试集与交叉验证

情景模拟：考前做模拟卷，到底怎么测才准？

高三学生小明，数学老师给了他一本 “必刷题”题库（共1000道题）。

Scenario A（错误做法）： 小明把1000道题全部做了一遍，然后拿这1000道题的原题再考自己一次，得了100分。 👉 老师能说“小明高考能考100分”吗？ 👉 不能！因为答案都背下来了，这叫“过拟合”！

Scenario B（正确做法）： 老师从1000道题里抽出200道作为“模拟考卷”（测试集），小明只能用剩下的800道题（训练集）来练习。最后用那200道从未见过的新题来测试他。 👉 这个分数才接近高考真实水平！

Scenario C（更稳健的做法——多次模拟考）： 只考一次模拟考，万一那天小明感冒了，考砸了怎么办？万一出的题正好都是小明擅长的，考高了怎么办？ 对策：把题库分成5份，做5次模拟考，每次用不同的一份当考卷，最后取平均分。这就叫 K折交叉验证。

引出核心结论：评估一个模型好不好，绝对不能拿训练过的数据来测，必须用“没见过的”数据。而且考一次不准，要多考几次取平均！

1. 核心概念（公式化记忆）

将全部数据按比例切分：训练集（用来学） + 测试集（用来考）。

2. sklearn 标准代码（一行搞定）

 1from sklearn.model_selection import train_test_split
 2from sklearn.datasets import load_iris
 3from sklearn.linear_model import LogisticRegression
 4
 5# 加载数据
 6X, y = load_iris(return_X_y=True)
 7
 8# 划分：80% 训练，20% 测试
 9X_train, X_test, y_train, y_test = train_test_split(
10    X, y, 
11    test_size=0.2,        # 测试集占 20%
12    random_state=42       # 随机种子，让每次划分结果固定
13)
14
15print("训练集大小:", X_train.shape[0])  # 120
16print("测试集大小:", X_test.shape[0])   # 30
17
18# 训练模型（只接触训练集）
19model = LogisticRegression(max_iter=1000)
20model.fit(X_train, y_train)
21
22# 评估（用未见过的测试集）
23train_score = model.score(X_train, y_train)  # 训练集得分（通常很高）
24test_score = model.score(X_test, y_test)     # 测试集得分（真实水平）
25print(f"训练集准确率: {train_score:.4f}")
26print(f"测试集准确率: {test_score:.4f}")

3. 两个关键参数（职高必记）

4. ⚠️ 三大铁律（课堂高亮）

1. 测试集绝对不参与训练（fit 只用 X_train, y_train）。
2. random_state 必须固定，否则每次运行结果不同，无法复现实验。
3. 预处理（标准化/归一化）必须先 fit 训练集，再 transform 测试集（已在6.1强调过，此时再次强调）。

1. 单次划分的隐患（继续考试比喻）

• 隐患：万一测试集里恰好全是“难题”或“简单题”，这次评估就运气成分太大。
• 解决方案：把数据分成 K 份（比如 5 份），轮流拿其中一份当测试集，其余 K-1 份当训练集，重复 K 次，最后取 K 个分数的平均值。

2. 图解 K=5 折交叉验证

1第1轮: [训练] [训练] [训练] [训练] [测试]
2第2轮: [测试] [训练] [训练] [训练] [训练]
3第3轮: [训练] [测试] [训练] [训练] [训练]
4第4轮: [训练] [训练] [测试] [训练] [训练]
5第5轮: [训练] [训练] [训练] [测试] [训练]

每一轮都得到一个准确率，最后算 平均值 和 标准差。

3. 代码实战（cross_val_score）

 1from sklearn.model_selection import cross_val_score
 2from sklearn.datasets import load_iris
 3from sklearn.linear_model import LogisticRegression
 4
 5X, y = load_iris(return_X_y=True)
 6model = LogisticRegression(max_iter=1000)
 7
 8# 5 折交叉验证：自动划分 5 次，返回 5 个分数
 9scores = cross_val_score(model, X, y, cv=5)
10
11print("5 次评估分数:", scores)          # 例如 [0.9667, 1.0, 0.9333, 0.9667, 1.0]
12print("平均准确率:", scores.mean())     # 0.9733
13print("标准差:", scores.std())          # 0.0249（分数波动越小越稳定）

4. 交叉验证 vs 单次划分（核心对比）

以下内容属于**“听说过，有个印象”**级别，不需要全部记住，但需要知道“某些特殊场景不能用普通的 K 折”。

1. 6.4.3 分层交叉验证（Stratified K-Fold）——分类问题专用

• 问题：如果数据中正类只有 10%，负类 90%，随机划分可能导致某一折里全是正类或全是负类。
• 对策：分层交叉验证保证每一折中各类别的比例与原始数据集一致。
• 代码：cross_val_score(model, X, y, cv=5) 在分类问题中默认就是分层的，所以不用额外操心！

2. 6.4.4 分组交叉验证（Group K-Fold）——同一来源不能分开

• 场景：100 张人脸照片来自 10 个人，每人 10 张。如果把同一个人的照片既放训练集又放测试集，模型相当于“认得这个人”再考他，数据泄露了！
• 对策：分组交叉验证确保同一个人的照片不会同时出现在训练集和测试集中。
• 代码：GroupKFold(n_splits=5)（知道有这个东西就行）。

3. 6.4.5 时间序列交叉验证（TimeSeriesSplit）——时间顺序不能打乱

• 场景：预测股票价格、天气预报、销量预测。未来的数据不能用来预测过去！
• 对策：用时间序列交叉验证，只往前看，不往后看。
• 代码：TimeSeriesSplit(n_splits=5)（知道有这个东西就行）。

⚠️ 职高学生记住这句话就够了：

“默认的 5 折交叉验证能满足 90% 的场景。如果数据是分类（分层），sklearn 自动帮你做了。如果数据是人脸/用户ID（分组）或者股票日期（时间序列），请告知业务专家，需要特殊处理。”