专题路线

数值分析与最优化

用误差与稳定性分析组织数值线性代数、逼近与微分方程离散,再进入凸优化、对偶与信息度量。

16 小时精选 12 个教材章节需要把连续数学模型可靠地转化为算法,并评估计算结果可信度的学习者。
本地学习进度0/12 节完成
0%

进入路线前

本路线不要求额外的站内先修,可从第一个精选章节开始。

路线目标

  1. 01用条件数、稳定性与截断误差分析评估浮点计算、线性求解、插值积分和微分方程离散的可信度。
  2. 02识别凸结构并选择合适的一阶方法,用 KKT 条件与对偶关系检验候选解的最优性。

分阶段学习顺序

路线按阶段连续组织正文;章节原有教材位置和书内顺序保持不变。

01

阶段 1

用条件数、稳定性与截断误差分析评估浮点计算、线性求解、插值积分和微分方程离散的可信度。

  1. 01
    M10 · 数值分析与科学计算 · 第 1 章 · 第一编 误差与数值线性代数 · 难度 3

    浮点数、条件数与误差传播

    浮点数、条件数与误差传播:从舍入模型和机器精度出发,区分问题条件数、算法稳定性、前向误差与后向误差,并分析消去性相减和尺度失衡。

    未开始
    阅读本章
  2. 02
    M10 · 数值分析与科学计算 · 第 2 章 · 第一编 误差与数值线性代数 · 难度 3

    线性方程组的直接与迭代解法

    线性方程组的直接与迭代解法:比较带主元消元与 LU 分解、Jacobi 与 Gauss–Seidel 等方法,使用残差、条件数和谱半径判断解的可信度与迭代收敛。

    未开始
    阅读本章
  3. 03
    M10 · 数值分析与科学计算 · 第 3 章 · 第二编 逼近与积分 · 难度 3

    插值、多项式逼近与样条

    插值、多项式逼近与样条:由 Lagrange 与 Newton 形式构造插值多项式,解释余项与 Runge 现象,再用分段低次多项式和三次样条控制局部误差。

    未开始
    阅读本章
  4. 04
    M10 · 数值分析与科学计算 · 第 4 章 · 第二编 逼近与积分 · 难度 3

    数值积分与数值微分

    数值积分与数值微分:从插值公式推导梯形、Simpson 与差分格式,使用 Taylor 展开计算截断误差,并说明微分对测量噪声的放大作用。

    未开始
    阅读本章
  5. 05
    M10 · 数值分析与科学计算 · 第 5 章 · 第三编 数值动力学与综合复习 · 难度 3

    常微分与偏微分方程数值方法

    常微分与偏微分方程数值方法:从 Euler 与 Runge–Kutta 时间推进进入有限差分离散,区分一致性、稳定性和收敛性,并比较显式格式的步长限制与隐式格式的线性求解成本。

    未开始
    阅读本章
  6. 06
    M10 · 数值分析与科学计算 · 第 6 章 · 第三编 数值动力学与综合复习 · 难度 3

    稳定性、收敛性与科学计算综合复习

    稳定性、收敛性与科学计算综合复习:围绕一个科学计算流程连接浮点误差、线性求解、插值积分和微分方程离散,使用残差、网格加密与独立方法报告数值证据。

    未开始
    阅读本章
02

阶段 2

识别凸结构并选择合适的一阶方法,用 KKT 条件与对偶关系检验候选解的最优性。

  1. 07
    M11 · 最优化与信息论 · 第 1 章 · 第一编 优化问题与凸性 · 难度 3

    优化模型、可行域与最优性

    优化模型、可行域与最优性:从决策变量、目标与约束建立优化模型,区分可行、局部与全局最优,并使用梯度、方向导数和法向条件表达一阶必要条件。

    未开始
    阅读本章
  2. 08
    M11 · 最优化与信息论 · 第 2 章 · 第一编 优化问题与凸性 · 难度 3

    凸集、凸函数与次梯度

    凸集、凸函数与次梯度:用线段判据、Jensen 不等式和一阶支撑不等式识别凸性,把梯度推广为次梯度,并说明凸问题中局部最优与全局最优的关系。

    未开始
    阅读本章
  3. 09
    M11 · 最优化与信息论 · 第 3 章 · 第二编 优化算法 · 难度 3

    一阶优化与梯度下降

    本章研究一阶优化与梯度下降。内容依次处理最速下降方向与步长、Lipschitz 梯度下的收敛率、动量、自适应方法与失效案例。

    未开始
    阅读本章
  4. 10
    M11 · 最优化与信息论 · 第 4 章 · 第二编 优化算法 · 难度 3

    约束优化、KKT 条件与对偶性

    约束优化、KKT 条件与对偶性:由 Lagrange 函数构造对偶下界,在明确约束资格后使用 KKT 条件,并通过原始可行性、对偶可行性、驻点与互补松弛核对候选解。

    未开始
    阅读本章
  5. 11
    M11 · 最优化与信息论 · 第 5 章 · 第三编 信息度量与综合复习 · 难度 3

    熵、互信息与散度

    熵、互信息与散度:从自信息与期望定义熵,推导联合熵、条件熵和互信息关系,使用 KL 散度刻画分布差异并明确对数底与绝对连续条件。

    未开始
    阅读本章
  6. 12
    M11 · 最优化与信息论 · 第 6 章 · 第三编 信息度量与综合复习 · 难度 3

    最优化与信息论综合复习

    最优化与信息论综合复习:以概率分布上的约束优化贯通凸性、对偶、梯度方法、熵和散度,比较几何最优性与信息度量在推导中的不同角色。

    未开始
    阅读本章

路线检查点

完成指定教材章节后,用自己的推导回答;检查点不替代正文证明。

  1. 完成 M10 · 稳定性、收敛性与科学计算综合复习

    对一个线性方程组求解流程,分别说明问题条件数、算法后向稳定性与迭代法谱半径各自控制什么误差,并给出网格加密实验应报告的量。

  2. 完成 M11 · 最优化与信息论综合复习

    写出一个带等式与不等式约束凸问题的 KKT 条件,并说明如何用原始可行性、对偶可行性、驻点与互补松弛验证候选点最优。

路线综合练习

先独立作答,再展开提示与分步解答;每题附可重复的结果核验。

练习完成进度0/2

难度 4/5

估计病态矩阵求解的误差放大

矩阵 A=[[1,1/2],[1/2,1/3]](2 阶 Hilbert 矩阵),右端扰动满足 ‖δb‖₂/‖b‖₂≤10⁻⁴。用 2-范数条件数估计解的相对误差上界,并说明该上界的实际含义。

查看提示

对称正定矩阵的 2-范数条件数等于最大与最小特征值之比;先求 A 的特征值。

展开分步解答

A 的特征方程为 λ²-(4/3)λ+1/12=0,解得 λ=(4±√13)/6,故 κ₂(A)=(4+√13)/(4-√13)=(29+8√13)/3≈19.28。扰动理论给出 ‖δx‖/‖x‖≤κ₂(A)·‖δb‖/‖b‖≈19.28×10⁻⁴≈1.9×10⁻³。含义是:右端万分之一的相对扰动,最坏可放大为解约千分之二的相对误差,放大因子由问题本身而非算法决定。

结果核验直接求逆得 A⁻¹=[[4,-6],[-6,12]],取 b=(1,1)ᵀ 与 δb=(10⁻⁴,0)ᵀ 实际求解,x 的相对变化不超过上界;当 b 沿最大特征向量、δb 沿最小特征向量方向时放大接近 κ₂(A),说明上界可达。

难度 4/5

二次凸函数上梯度下降的收缩因子

对 f(x)=½ xᵀQx,Q=diag(1,10),使用精确线搜索的梯度下降。写出迭代格式,说明收缩因子由条件数 κ=10 决定的形式,并估计把误差 ‖xₖ-x*‖_Q 缩小 10⁴ 倍所需的迭代量级。

查看提示

梯度为 Qx,最优步长 αₖ=(gₖᵀgₖ)/(gₖᵀQgₖ);二次问题上精确线搜索每步收缩不超过 (κ-1)/(κ+1)。

展开分步解答

迭代为 xₖ₊₁=xₖ-αₖgₖ,gₖ=Qxₖ,αₖ=(gₖᵀgₖ)/(gₖᵀQgₖ)。这里 κ=λ_max/λ_min=10,误差满足 ‖xₖ-x*‖_Q≤((κ-1)/(κ+1))ᵏ‖x₀-x*‖_Q=(9/11)ᵏ‖x₀-x*‖_Q。要求 (9/11)ᵏ≤10⁻⁴ 得 k≥4ln10/ln(11/9)≈46,即需要数十次迭代,条件数直接决定收敛快慢。

结果核验数值核对首步:x₀=(10,1)ᵀ 时 g₀=(10,10)ᵀ,α₀=200/1100=2/11,x₁=(90/11,-9/11)ᵀ,f 由 55 降至 8910/242≈36.8,比值恰为 (9/11)²,与理论收缩因子一致。