第四讲｜回归、分类与泛化

同一条直线：最小二乘与梯度下降相遇

综合实验 01

迭代次数 0

学习率 η

训练目标 J = MSE / 2

原始单位中的斜率

原始单位中的截距

蓝点：96 个训练观测；红线：当前参数；灰虚线：最小二乘解。纵轴固定为 −3 至 28，失稳时红线可能越界。

综合实验 02

阈值 τ = 0.50

Precision 精确率

Recall 召回率

(4 FN + FP) / N

真实类别 0真实类别 1浅红区域：预测 1；圈边：错误

实际 ↓ / 预测 →	0	1
0
1

p=σ(z), z=Φw
BCE=mean(logaddexp(0,z)−yz)
ŷ=1[p≥τ]

z = phi @ w
loss = np.mean(np.logaddexp(0, z) - y*z)
grad = phi.T @ (sigmoid(z)-y) / len(y)
# 阈值在验证集选择；测试集最终评价

滑块只操作验证集。阈值改变不会重新训练权重；BCE 衡量概率预测，混淆矩阵取决于阈值。

综合实验 03

x₁ x₂

类别 0类别 1类别 2十字：当前输入

综合实验 04

多项式次数正则强度 λ

训练 MSE

验证 MSE

不含截距的 ‖w‖₂

训练观测当前拟合曲线灰虚线：真函数 sin(πx)

纵轴固定为 −2 至 2，以便比较主体形状；高次曲线在边界严重越界时，以验证 MSE 反映完整误差。