← 返回课程目录 · 第 13 课 / 共 14 课 · 基础补全模块

神经网络与深度学习

第 2 课看过训练循环,这一课补它的地基:神经元怎么组成网络、为什么需要激活函数——然后亲手把"过拟合"调出来,这个 ML 最大的坑就再也忘不掉了。

一、神经元:加权和 + 激活

x₁×w₁+ x₂×w₂+ x₃×w₃→ Σ 求和→ 激活 f→ 输出

一个"神经元" = 线性加权求和,再过一个非线性函数 f(如 ReLU:负数归零)。深度学习的一切复杂行为,都是几百万个这个小单元堆出来的。

为什么必须激活函数?

没有非线性激活,100 层线性层叠起来仍等价于一层(线性套线性还是线性)——网络再深也只会画直线。

🧠 类比:全是线性环节的电路,增益再大也只会放大失真。

MLP 多层感知机

神经元按层排:输入层 → 隐藏层×N → 输出层。第 10 课 Transformer 里的 FFN 就是一个 MLP。

🧠 万能近似定理:够宽的 MLP 理论上能逼近任何函数——"够数据就行"。

二、亲手实验:调出过拟合

模型复杂度(多项式阶数)1
训练误差–
测试误差(新数据)–

蓝点 = 训练数据(20 个带噪声的样本);橙点 = 测试数据(模型没见过);绿线 = 模型拟合出的曲线。拖动阶数,盯住两条误差的反向变化。

这就是第 12 课"过拟合/欠拟合"的亲手版:复杂度低 → 训练测试都差(欠拟合,模型能力不足);复杂度刚好 → 双低;复杂度过高 → 训练误差趋近 0 但测试误差爆炸(模型开始"背噪声")。真实深度学习里,网络容量、训练轮数、正则化的权衡一模一样。

三、CNN → RNN → Transformer:一分钟演化史

CNN(图像时代)

卷积核扫过图片提局部特征,参数共享让图像任务在 2012 年起飞。

🧠 带局部感受野的模板匹配。

RNN / LSTM(序列尝试)

按时间步串行处理序列、有"记忆"。致命伤:串行没法并行、长序列记不住远处的词。

🧠 单线程逐行处理日志,读到尾巴忘了头。

Transformer(第 10 课)

用注意力替代串行循环:全序列并行 + 任意两词直连。GPU 并行优势全兑现——深度学习与大模型的汇合点。

🧠 把"逐行读"换成"全文检索"。

四、深度学习爆发的三要素

数据

互联网把标注/半标注数据规模拉升了几个量级——喂不饱的网络谈不上智能。

🧠 数据是新的燃料。

算力

GPU 并行恰好匹配矩阵乘法(第 1 课)——没有算力革命就没有深度学习革命。

🧠 你现在学的整个 Infra 体系,都是这条的延伸。

算法

ReLU、更好的初始化、BatchNorm、残差连接(第 10 课)、Adam(第 2 课)——让深网络真正训得动。

🧠 每个都是一块"训得深"的垫脚石。

五、小测验

Q1 · 多层网络去掉所有激活函数会发生什么?

Q2 · 训练误差很低、测试误差很高,这是?

Q3 · Transformer 相比 RNN 的关键优势?

延伸阅读