One Forth

CONCEPT OUTLINE / mixture-of-experts

混合专家模型

用路由器为每个输入选择少量专家子网络，在计算受控时扩展参数容量。

约 120 分钟正文计划中难度 5/5

章节大纲

  1. 01

    混合专家模型要解决的核心问题与适用边界

  2. 02

    混合专家模型的基本对象、符号和严格定义

  3. 03

    从「Transformer」推导「混合专家模型」所需的关键步骤

  4. 04

    混合专家模型的典型计算、反例与常见误区

知识关系

applied-totransformer