站内索引 / 课程与概念
搜索知识库
输入中文术语、英文别名、符号或 LaTeX。结果覆盖课程概念、正文、方程、实验、学习路径和资源，可按学科、主题、类型与难度筛选。
12 项
- concept
Transformer
组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。
machine-learning · neural-networks · 难度 4 · 详细大纲 - learning-path
从感知机到 Transformer
沿梯度流、卷积、循环、注意力和残差结构理解现代神经网络。
- concept
位置编码
向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
多模态学习
对齐文本、图像、音频等不同表示空间，并通过共享或交叉注意力融合信息。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
大语言模型
以大规模自回归 Transformer 建模文本分布，并区分预训练、对齐和推理阶段。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
批归一化
利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
残差连接
让层学习相对恒等映射的残差，改善深层网络的信息与梯度传播。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
混合专家模型
用路由器为每个输入选择少量专家子网络，在计算受控时扩展参数容量。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
自注意力
让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
自监督学习
从数据本身构造预测或对比任务，学习可迁移表示而不依赖人工标签。
machine-learning · neural-networks · 难度 4 · 详细大纲 - paper
Attention Is All You Need
提出以自注意力为核心、无需循环结构的 Transformer 架构。
- equation
缩放点积注意力
\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\mathsf{T}}{\sqrt{d_k}}\right)V
machine-learning · neural-networks