第9章 图像配准
一、图像配准基础(Fundamentals of Image Registration)
1.1 什么是图像配准

图像配准(Image Registration)是将两幅图像之间的点进行空间变换(Spatial Transform),使其在空间上对应到同一解剖位置的过程。
给定一组匹配的特征点 \(\{p_i, q_i\}\),以及变换函数 \(T(p; \theta)\):
- \(p_i\):源图像(Source/Moving Image)中的点
- \(q_i\):目标图像(Target/Fixed Image)中的对应点
- \(\theta\):变换参数
- \(q = T(p; \theta)\):从源到目标的映射
配准的两个核心目标:
-
定义变换函数 \(T\)
-
优化参数 \(\theta\),使变换后的源图像与目标图像尽可能相似
1.2 配准的三大基础方法
| 方法 | 原理 | 说明 |
|---|---|---|
| 基于点(Point-based) | 使用解剖标志点或外部标记点 | CT-PET 的 landmark 配准 |
| 基于表面(Surface-based) | 使用皮层/器官表面网格 | 白质/灰质皮层网格匹配 |
| 基于灰度(Intensity-based) | 直接使用图像灰度信息 | 最常用,无需手动标记 |
1.3 配准流水线(Registration Pipeline)
配准的四个基本步骤:
- 定义变换类型(刚性、仿射、非线性)
- 定义相似度指标(SSD、CC、MI 等)
- 优化变换参数以最大化相似度指标
- 重采样得到配准后的图像

二、线性变换(Linear Transformation)
2.1 仿射变换(Affine Transform)
二维仿射变换的一般形式:
仿射变换包含 12 个自由度(3D 情况,共 12 个参数:\(3 \times 3\) 矩阵 + 3 个平移参数):
| 变换类型 | 操作 | 自由度(3D) | 保持的性质 |
|---|---|---|---|
| 平移(Translation) | \(x' = x + t_x\) | 3 | 方向、长度、角度、面积 |
| 刚性(Rigid) | 平移 + 旋转 | 6 | 长度、角度、面积 |
| 相似(Similarity) | 刚性 + 均匀缩放 | 7 | 角度、形状比例 |
| 仿射(Affine) | 旋转 + 缩放 + 剪切 + 平移 | 12 | 平行性、共线性 |
| 投影(Projective) | 透视变换 | 15 | 共线性 |
2.2 旋转矩阵
二维旋转矩阵:
2.3 插值方法
变换后的图像坐标可能落在非整数位置,需要插值:
| 方法 | 原理 | 特点 |
|---|---|---|
| 最近邻(Nearest) | 取最近整数坐标的像素值 | 最快,但有锯齿 |
| 双线性(Bilinear) | \(2 \times 2\) 邻域的线性加权 | 平滑,最常用 |
| 双三次(Bicubic) | \(4 \times 4\) 邻域(16个像素)的三次多项式拟合 | 最平滑,计算量大 |
三、相似度度量(Similarity Metrics)
3.1 模内 vs 模间配准
| 类型 | 含义 | 示例 |
|---|---|---|
| 模内配准(Intra-modality) | 同一种成像模态之间 | T1w → T1w、fMRI 序列间 |
| 模间配准(Inter-modality) | 不同成像模态之间 | CT → PET、T1w → T2w |
3.2 误差平方和(SSD)
假设:两幅图像仅存在加性高斯噪声的差异。
- 适用:同模态配准(如多次 MR 扫描之间)
- 优势:计算极快
- 劣势:对灰度缩放、对比度变化、模态差异极其敏感,跨模态时数值膨胀到无意义
3.3 比值图像均匀度(RIU)
假设:两幅图像之间存在乘法增益因子的差异。
- 适用:同模态但存在增益差异(多次 PET 扫描)
- 劣势:对背景零值极敏感,比值图像在背景区域剧烈波动
3.4 互相关系数(CC)
假设:两幅图像的灰度值之间存在线性关系。
- CC 取值范围 \([-1, 1]\),配准时取绝对值最大
- 适用:同模态(可容忍线性亮度/对比度变化)
- 劣势:无法处理非线性灰度关系(如 T1w 和 T2w 的灰度反转)
3.5 互信息(MI)——跨模态配准的黄金标准
假设:无需假设灰度值的关系,仅依赖统计相关性。
基于信息论,当解剖结构完美对齐时,联合熵最小,互信息最大。
互信息 \(\geq 0\),值越大表示对齐越好。MI 是唯一不依赖灰度线性假设的指标,适用于跨模态配准。
3.6 四种指标总结对比
| 指标 | 模态假设 | 鲁棒性 | 计算量 | 最佳场景 |
|---|---|---|---|---|
| SSD / MSE | 同模态 | 低(噪声敏感) | 低 | 同模态、无灰度变化 |
| RIU | 同模态(乘法差异) | 中等 | 中等 | 同模态、有增益差异 |
| CC | 同模态 / 线性 | 高(线性变化鲁棒) | 中等 | 同模态、亮度/对比度变化 |
| MI | 多模态 | 极高 | 高 | 不同模态(CT/PET/MRI) |
3.7 各指标适用场景
| 指标 | 适用场景 |
|---|---|
| SSD/MSQ | 序列 MR 图像及功能磁共振成像 (fMRI) |
| CC | 单模态 (同种影像设备配准) |
| RIU | 多张 PET 图像、脑部序列 MR 图像 |
| PIU | MR-PET 跨模态配准 |
| MI / 联合熵 | 多模态、单模态 |
3.8 优化目标方向
-
单模态配准
- 均方误差SSD最小化
- 归一化互相关CC最大化
- 差分熵最小化
-
多模态配准
- 互信息最大化
- 归一化互信息最大化
四、信息论基础(Information Theory)
4.1 信息的定义
香农信息论:低概率事件 = 高信息量。
性质:连续、非负 \([0, +\infty]\)、单调递减、可加。
4.2 熵(Entropy)
熵是信息的期望值:
- 联合熵:\(H(X, Y) = -\sum_{x,y} p(x,y) \log p(x,y)\)
- 条件熵:\(H(Y|X) = -\sum_{x,y} p(x,y) \log p(y|x) = H(X,Y) - H(X)\)
4.3 互信息(Mutual Information)
互信息 = 联合分布 \(p(x,y)\) 与边缘分布乘积 \(p(x)p(y)\) 之间的相对熵:
等价关系:
MI 作为配准指标的直觉:正确配准 → 联合直方图集中在对角线 → 联合熵减小 → MI 增大。
4.4 联合直方图(Joint Histogram)
联合直方图是计算互信息的核心数据结构,也是理解配准质量的直观可视化工具。
4.4.1 定义与计算
联合直方图 \(h[a,b]\) 统计图像 A 灰度为 \(a\)、图像 B 灰度为 \(b\) 的同一空间位置像素出现的次数。
计算方法(逐像素配对统计):
- 初始化一个 \(L \times L\) 的零矩阵 \(H[i,j] = 0\)(\(L\) 为灰度级数)
- 遍历所有像素位置 \((m,n)\):\(H[I_A(m,n), I_B(m,n)] \mathrel{+}= 1\)
- 归一化得到联合概率分布:
4.4.2 计算示例
假设两幅 \(2 \times 2\) 图像:
逐像素配对:
-
位置 \((0,0)\):\((A=1, B=2)\) → \(H[1,2] \mathrel{+}= 1\)
-
位置 \((0,1)\):\((A=2, B=1)\) → \(H[2,1] \mathrel{+}= 1\)
-
位置 \((1,0)\):\((A=2, B=1)\) → \(H[2,1] \mathrel{+}= 1\)
-
位置 \((1,1)\):\((A=1, B=2)\) → \(H[1,2] \mathrel{+}= 1\)
从联合直方图可以看到,像素对集中在 \((1,2)\) 和 \((2,1)\) 两条对角线上,表明两幅图像之间存在灰度反转关系(A 中为 1 的位置 B 中为 2,反之亦然)。
4.4.3 联合直方图的典型形状及其意义

| 情况 | 联合直方图形状 | 物理含义 |
|---|---|---|
| 恒等图像(同一幅图配准自己) | 严格对角直线 | 两图像素值完全一致 |
| 小偏移(配准接近最优) | 对角线变粗、略有发散 | 大部分像素对齐,少数轻微错位 |
| 大偏移(未配准) | 分散为块状/团状 | 像素对应关系随机化 |
| 同模态不同图像 | 较集中的对角线区域 | 线性关系,噪声导致扩散 |
| 线性缩放 + 平移 | 在对角线附近呈带状分布 | \(B = kA + t\),斜率由 \(k\) 决定 |
| 跨模态(CT vs MRI) | 分散但仍有可辨识结构 | 非线性灰度关系 |
| 跨模态(MR vs PET) | 更加分散,结构模糊 | 模态差异极大 |
4.4.4 联合直方图 → 联合熵 → 互信息
从联合直方图到互信息的计算链路:
核心直觉:
- 未配准:同一解剖位置对应随机灰度 → 联合直方图分散 → \(H(A,B)\) 大 → MI 小
- 已配准:同一解剖位置灰度有确定关系 → 联合直方图集中 → \(H(A,B)\) 小 → MI 大
这就是为什么最大化 MI 可以驱动配准。
4.4.5 归一化互信息(NMI)
标准互信息 MI 的一个关键问题是:当图像重叠区域(Field of View, FOV)发生变化时,MI 值也会随之变化——大量背景像素的加入会使 MI 趋近于 0。
归一化互信息(NMI) 通过除以联合熵来消除这一影响:
NMI 对于图像重叠区域大小和背景比例具有极强的鲁棒性,在实际配准中比标准 MI 更常用。
五、优化方法(Optimization)
5.1 基本概念
图像配准的相似度函数 \(S(I_f, I_m; \theta)\) 通常没有闭合解,必须迭代优化:
- 一维搜索
- 梯度下降(Gradient Descent)
- 变尺度法(Variable Metric)
5.2 梯度下降法
参数更新公式:
其中 \(\alpha\) 为学习率(步长)。若新参数未改善相似度指标,则减小步长后重试。
数值梯度近似(当解析梯度不可直接计算时):
5.3 实际配准中的优化策略
| 策略 | 说明 |
|---|---|
| 多起点(Multi-start) | 从多个初始点同时开始,避免陷入局部极值 |
| 多分辨率(Multi-resolution) | 先在粗分辨率(如 \(6 \times 6 \times 6\) mm)上快速搜索,再逐级细化到 \(1.5 \times 1.5 \times 1.5\) mm |
| 参数缩放(Parameter Scaling) | 角度(弧度)和平移(像素)量级差异极大,必须分别缩放 |
| 自适应步长 | 梯度方向持续一致时增大步长,方向反转时减半步长 |
5.4 MI 与梯度下降的冲突
离散 MI 通过直方图分箱(Binning)计算,导致其能量曲面呈阶梯状——微小的参数变化不会改变分箱结果 → 梯度为零 → 梯度下降法失效。
解决方案:
- 使用无梯度优化器(如 Powell 算法)
- 使用Mattes MI(B-spline 核密度估计使 MI 曲面连续可导)
六、非线性配准(Non-linear Registration)
6.1 从线性到非线性
| 类型 | 自由度 | 适用场景 |
|---|---|---|
| 刚性(Rigid) | 6 | 同一被试的头骨配准 |
| 仿射(Affine) | 12 | 全局缩放、剪切 |
| 非线性 | 大量 | 不同被试之间、脑发育/萎缩 |
非线性变换通过变形场(Deformation Field) \(\mathbf{u}: \mathbb{R}^3 \to \mathbb{R}^3\) 表示——图像中每个体素都有一个位移向量,描述该点从源空间到目标空间的移动。
非线性配准面临的核心挑战:
- 自由度极高,搜索空间呈指数级增长
- 初始化和局部极值问题比线性配准严重得多
- 必须有正则化约束(如平滑性),否则会过拟合噪声
6.2 非线性配准的两大类方法
| 方法类别 | 原理 | 代表算法 |
|---|---|---|
| 参数化方法 | 用参数化模型(如B样条基函数)表示变形场,优化这些参数 | FFD(Free-Form Deformation) |
| 非参数化方法 | 直接在体素级别估计变形场,配合平滑正则化 | Demons、LDDMM、HAMMER |
6.3 微分同胚(Diffeomorphic)变换
6.3.1 基本概念
微分同胚是光滑可逆的非线性变换,满足三大性质:
| 性质 | 含义 |
|---|---|
| 一一映射(One-to-one / Injective) | 每个点在目标空间中恰好有一个对应点,无两点重叠 |
| 满射 / 可逆(Surjective / Invertible) | 变换及其逆变换都存在,覆盖整个目标空间 |
| 光滑 / 可微(Smooth / Differentiable) | 变换函数和逆函数都连续可微 |
微分同胚 = 同胚(Homeomorphism)+ 可微性:同胚保证拓扑不变(一一映射),微分同胚在此基础上额外要求光滑性。
核心思想:大变形 = 许多小变形的复合(Composition),而非一步到位。每一步都是微小且光滑的推动,累积产生任意大的变形。 $$ \Phi = \phi_1 \circ \phi_2 \circ \cdots \circ \phi_n $$
为什么微分同胚在计算解剖学中至关重要?
- 它保持拓扑结构——不会出现解剖上不可能的折叠(\(\det(J) > 0\) 处处成立)
- 逆变换始终存在——可以从配准后的空间无损地映射回原始空间
- 本质上是解剖学配准的物理约束:两个大脑之间确实存在光滑的一一对应
6.3.2 与普通非线性变换的对比
| 特性 | 普通非线性 | 微分同胚 |
|---|---|---|
| 折叠(Folding) | 可能发生 | 不可能 |
| 可逆性 | 不一定 | 保证可逆 |
| 拓扑保持 | 可能破坏 | 严格保持 |
| 物理合理性 | 可能不满足 | 总能满足 |
6.4 Demons 算法
Demons 算法是一种经典的非参数化非线性配准方法,其基本思想来自物理学中的麦克斯韦妖(Maxwell's Demon)——想象在两个图像的边界上有一群"小妖",它们根据图像的局部梯度推动像素,使浮动图像逐渐变形为目标图像。
基本迭代流程:
- 初始化位移场 \(\mathbf{u}\)(如恒等变形,即所有位移为零)
- 对于梯度非零的每个像素,计算驱动力(Demons Force):
- 若当前像素值低于目标值 → 沿图像梯度方向推动
- 若当前像素值高于目标值 → 沿图像反梯度方向推动
- 直觉:让浮动图像的像素值"追上"目标图像的像素值
- \(\mathbf{u} \leftarrow \mathbf{u} +\) 驱动力
- 对更新后的 \(\mathbf{u}\) 做高斯平滑(正则化,确保变形场光滑)
- 迭代至收敛
Demons 算法的核心直觉:Demon站在浮动图像的边缘(梯度非零处),比较当前位置的浮动图像值与目标图像值。如果浮动值偏小,就往梯度正方向推(让值变大去匹配目标);如果浮动值偏大,就往反方向推(让值变小去匹配目标)。
为什么需要高斯平滑?
- 不加平滑:变形场会出现锯齿和断裂,产生物理上不可能的变形
- 高斯平滑相当于施加扩散正则化,使变形场光滑连续
6.5 自由形变(FFD, Free-Form Deformation)
FFD 是一种参数化的非线性配准方法,使用 B 样条(B-spline) 基函数来表示变形场:
- 在图像上放置一张均匀的控制点网格
- 每个控制点的位移作为待优化参数
- 控制点之间的位移由 B 样条基函数插值得到,保证光滑性
- 移动一个控制点只影响其局部邻域(B 样条的紧支撑性)
FFD 的层级策略:从粗网格(少量控制点,捕捉大范围变形)→ 逐步细化网格(更多控制点,捕捉局部细节),类似于多分辨率配准。
6.6 LDDMM(Large Deformation Diffeomorphic Metric Mapping)
LDDMM 是微分同胚配准中的代表性算法,通过优化一系列速度场 \(v_t\) 来估计测地线(geodesic)路径上的大变形。
核心数学框架:
- 不直接优化变形场,而是优化一系列随时间变化的速度场 \(v_t\)
- 变形场 \(\Phi\) 由速度场的积分(flow)得到:\(\frac{d\Phi}{dt} = v_t \circ \Phi_t\)
- 通过求解微分方程,保证产生的变换严格满足微分同胚性质
- 使用微分算子(如 \(L = -\alpha\nabla^2 + \beta\nabla\nabla\cdot + \gamma\))对速度场施加平滑约束,产生测地线距离最小的光滑变换
LDDMM 的优势:
- 数学上严格保证微分同胚的三大性质
- 测地线路径对应能量最小的变形路径
- 在脑图谱构建(Atlas Building)和群体分析中应用广泛
6.7 其他非线性配准方法
| 算法 | 特点 |
|---|---|
| HAMMER | 基于几何属性向量(而非灰度值)驱动配准,对脑组织对比度差异鲁棒 |
| SyN(Symmetric Normalization) | ANTs 中的对称微分同胚方法,同时优化正向和反向变换,保证逆一致性 |
| DARTEL | SPM 中的微分同胚配准,基于李代数(Lie Algebra)指数映射,计算效率高 |
| FNIRT | FSL 中的非线性配准工具,基于有限元模型(FEM),适合 fMRI 脑图像标准化 |
6.8 雅可比矩阵(Jacobian Matrix)
变形场 \(\mathbf{u}(x,y,z)\) 的雅可比矩阵,其中各元素为变形场分量对空间坐标的偏导数:
雅可比行列式(Jacobian Determinant) 衡量局部体积变化:
关键注意事项:
- \(0 < \det(J) < 1\) 表示体积收缩但方向不变
- \(\det(J) < 0\) 表示发生了方向翻转(镜面反射),这在微分同胚配准中是不允许的——微分同胚要求 \(\det(J) > 0\) 处处成立
- \(|\det(J)|\) 才是纯体积缩放比
应用:基于张量的形态测量(TBM, Tensor-Based Morphometry)——通过比较不同人群(如患者 vs 健康对照)的 \(\log(\det(J))\) 空间分布,检测局部的脑组织萎缩或膨胀模式。
七、配准评估与实用工具(Evaluation & Tools)
7.1 评估方法
| 方法 | 说明 |
|---|---|
| 金标准(Gold Standard) | 基于仿真数据或基准标记点 |
| 手动标注 | 用户选定的解剖标志或手动分割结构验证配准结果 |
| 可视化评估 | 叠加显示(Overlay)、棋盘交替显示(Checkerboard) |
7.2 Dice 系数
Dice 系数用于量化两个掩膜的空间重叠程度:
取值范围 \([0, 1]\),\(1\) 表示完全重合。
7.3 主流配准工具
| 工具 | 全称 | 特点 |
|---|---|---|
| FSL (FNIRT/FLIRT) | FMRIB Software Library | 线性(FLIRT)+非线性(FNIRT),fMRI 脑图像标准化的标配 |
| Freesurfer (CVS) | — | 结合体素+皮层表面的配准,解剖学精度高 |
| ANTs | Advanced Normalization Tools | SyN 微分同胚配准,多种变换类型,被广泛认为是性能最强的开源配准工具 |
| SPM (DARTEL) | Statistical Parametric Mapping | 李代数指数映射的微分同胚配准,与 fMRI 统计分析紧密集成 |
| SimpleITK | Simple Insight Toolkit | Python 接口友好,适合教学和快速原型开发 |
八、本章总结
配准核心要素
| 类别 | 关键方法/概念 | 要点 |
|---|---|---|
| 变换 | 刚性、仿射、非线性 | 自由度递增 |
| 插值 | 最近邻、双线性、双三次 | 精度 vs 速度的权衡 |
| 相似度 | SSD / RIU / CC / MI | MI 是跨模态配准的金标准 |
| 优化 | 梯度下降、多分辨率、Powell | 多尺度策略避免局部极值 |
| 非线性 | Diffeomorphic, Demons, FFD, LDDMM | 保持拓扑的光滑可逆映射 |
| 评估 | Dice, Jacobian | 分别衡量空间重叠和体积变化 |
模内 vs 模间配准
| 对比维度 | 模内配准 | 模间配准 |
|---|---|---|
| 推荐指标 | SSD / CC | MI / NMI |
| 典型场景 | 同一被试多次 fMRI 扫描对齐 | T1w ↔ T2w / CT ↔ PET |
| 灰度关系 | 线性/加法 | 非线性/未知 |
| 难度 | 较低 | 较高 |
课后作业
题目 1:线性变换下的 CC 与 SSD(PPT HW1)
题目:对于两幅 MRI 图像 \(A\)(固定图像)和 \(B'\)(浮动图像),两者为同一被试的两次扫描,因此仅存在线性变换:\(B'(i) = kA(i) + t\),对所有满足 \(B'(i) > 0\) 的像素 \(i\) 成立,其中 \(k > 0\)。
- 证明 \(A\) 与 \(B'\) 之间的互相关系数 CC 为 \(1\)
- 用 \(k\), \(t\), 总像素数 \(N\), 以及 \(A\) 的均值 \(\bar{A}\) 和标准差 \(\sigma(A)\) 表示 \(A\) 与 \(B'\) 之间的 SSD
解答:
(1) CC 的证明
由条件 \(B'(i) = kA(i) + t\)(\(k > 0\)),先求 \(B'\) 的均值:
CC 公式为:
将 \(B'(i) = kA(i) + t\) 和 \(\bar{B'} = k\bar{A} + t\) 代入:
分子:
分母第二项(\(B'\) 的标准差部分):
因此:
由于 \(k > 0\)(同模态 MRI,灰度值正相关),故:
即 \(CC = 1\),得证。CC 对线性缩放(\(k\))和平移(\(t\))具有不变性——只要两幅图像之间存在线性关系,CC 就能完美识别这种关系。
(2) SSD 的表达式
SSD 定义为:
代入 \(B'(i) = kA(i) + t\):
利用技巧 \((1-k)A(i) - t = (1-k)(A(i) - \bar{A}) + [(1-k)\bar{A} - t]\),展开平方和:
三项分别处理:
- 第一项:\(\frac{1}{N}(1-k)^2 \sum (A(i) - \bar{A})^2 = (1-k)^2 \sigma^2(A)\)
- 第二项:含 \(\sum (A(i) - \bar{A}) = 0\),所以此项为 \(0\)
- 第三项:常数累加 \(N\) 次除以 \(N\) → \([(1-k)\bar{A} - t]^2\)
因此:
或等价展开为:
验证:当 \(k = 1\), \(t = 0\) 时(无变换),\(SSD = 0\),符合预期。
题目 2:熵与归一化互信息计算(PPT HW2)
题目:给定图像 \(A = [18, 97]\),\(B = [97, 18]\)。
- 计算 \(H(A)\) 和 \(H(B)\)(用 \(\log(m)\) 形式表示,\(m \in \mathbb{N}\))
- 计算 \(I(A,B)\) 和 \(NMI(A,B) = \frac{H(A)+H(B)}{H(A,B)}\)
- 如果图像添加更多背景像素:\(A' = [18, 97, 0, 0, \ldots, 0]\),\(B' = [97, 18, 0, 0, \ldots, 0]\)(各包含 \(N\) 个额外 \(0\)),计算 \(I(A',B')\) 和 \(NMI(A',B')\),讨论为什么 NMI(归一化互信息)比标准 MI 更常用?
解答:
(1) \(H(A)\) 和 \(H(B)\)
\(A = [18, 97]\) 共 2 个像素,灰度值 18 和 97 各出现 1 次:
同理 \(H(B) = \log 2\)。
(2) \(I(A,B)\) 和 \(NMI(A,B)\)
联合分布:像素对为 \((18, 97)\) 和 \((97, 18)\),各出现 1 次:
(3) 添加背景后的变化与 NMI 的优势
添加 \(N\) 个背景像素 \(0\) 后,总像素数变为 \(N+2\)。
边缘概率分布变为:
联合分布:1 个 \((18, 97)\) + 1 个 \((97, 18)\) + \(N\) 个 \((0, 0)\)。
可验证 \(H(A', B') = H(A')\)(联合分布的三种事件概率结构与边缘分布完全一致)。
\(I(A', B') = H(A')\) 会随 \(N\) 的增加而变化,当 \(N \to \infty\)(背景占绝对主导)时,\(H(A') \to 0\),即 \(I(A', B') \to 0\)。
但:
NMI 始终保持常数 \(2\),与背景像素数 \(N\) 完全无关。
为什么 NMI 比标准 MI 更常用?
- 标准 MI 对图像重叠区域(FOV)大小敏感:FOV 变化(如扫描范围不同、背景增加)会导致 MI 值显著漂移,无法客观比较不同配准结果
- NMI 对 FOV 和背景比例具有鲁棒性:通过除以联合熵,消除了重叠区域大小的影响,只反映两幅图像之间内在的统计相关性
- 在实际配准中,浮动图像和固定图像的 FOV 几乎总是不同的(如不同被试者的脑部扫描覆盖范围不同),NMI 能提供稳定、可比的相似度度量
题目 3:雅可比矩阵计算(PPT HW3)
题目(与 hw5 一致):给定空间变换:
- 计算雅可比矩阵
- 计算雅可比行列式
- 讨论在坐标 \((\frac{\pi}{6}, \frac{\pi}{2})\)、\((0, \frac{7\pi}{6})\)、\((\frac{5\pi}{6}, 0)\) 处的体积变化(膨胀/收缩/不变)
解答:
(1) 雅可比矩阵
雅可比矩阵由各分量对各自变量的偏导数组成:
分别计算:
因此:
(2) 雅可比行列式
(3) 各坐标点的体积变化
局部体积变化由 \(|\det(J)|\) 决定:\(>1\) 膨胀,\(<1\) 收缩,\(=1\) 不变。
① 坐标 \((\frac{\pi}{6}, \frac{\pi}{2})\):
② 坐标 \((0, \frac{7\pi}{6})\):
③ 坐标 \((\frac{5\pi}{6}, 0)\):
雅可比行列式的物理意义
\(\det(J) > 0\) 且 \(\neq 1\) 表示局部面积/体积缩放;\(\det(J) < 0\) 表示坐标方向发生了翻转(镜面反射),此时 \(|\det(J)|\) 表示面积缩放比。在微分同胚配准中要求 \(\det(J) > 0\) 处处成立(不可翻转)。以上三点的 \(\det(J)\) 均为正,说明此变换在这些局部区域保持了方向。
实验
实验来源:LAB6(Project 1-3)
Project 1:相似度度量(Similarity Measure)
实验内容:手动实现 SSD、RIU、CC、MI 四种相似度指标,并在 T1w ↔ T1w(恒等)和 T1w ↔ T2w(跨模态)两种场景下验证。
实验原理:
- SSD:\(\sum (I_1 - I_2)^2\),仅适用于同模态
- RIU:\(\sigma_R / \mu_R\)(\(R = I_1/I_2\)),比值图像变异系数
- CC:Pearson 相关系数,适用于同模态线性差异
- MI:\(H(I_1) + H(I_2) - H(I_1,I_2)\),跨模态金标准
关键实现细节:
- 使用掩膜(Mask)排除背景噪声(阈值 \(>10\))
- MI 通过
np.histogram2d计算联合直方图,再转为联合概率分布 - 避免 \(\log 0\):仅对 \(p(x,y) > 0\) 的位置求和
关键发现:
| 场景 | SSD | RIU | CC | MI |
|---|---|---|---|---|
| T1w vs T1w(恒等) | 0(完美) | 0(完美) | 1.00(完美) | 最大(= 图像自身熵) |
| T1w vs T2w(跨模态) | 极度膨胀(2.5亿+) | 0.44(可用) | -0.11(接近零,无线性相关) | 0.88(稳健) |
结论:SSD 和 CC 在跨模态下失效,MI 是唯一在跨模态场景下保持稳定高值的指标。
Project 2:刚性配准(Image Registration)
实验内容:手动实现最速下降法(Steepest Descent),分别用 SSD、RIU、CC 作为目标函数,完成 T1w → T1w(模内)和 T2w → T1w(模间)的刚性配准(恢复人为施加的旋转 15° + 平移 (10, -5))。
实验原理:
- 最速下降法:\(\theta_{new} = \theta_{old} - \alpha \cdot \frac{\nabla L}{\|\nabla L\|}\)(对梯度方向做归一化)
- 数值梯度:中心差分法计算 \(\frac{\partial L}{\partial \theta} \approx \frac{L(\theta+\delta) - L(\theta-\delta)}{2\delta}\)
- 学习率衰减:\(\alpha_{current} = \alpha_{initial} \times (1 - \frac{i}{N})\),线性衰减防止震荡
- 评估指标:Dice 系数衡量空间重叠程度
各指标的配准表现:
| 任务 | 指标 | 角度残差 | 平移残差 | Dice 后 |
|---|---|---|---|---|
| 模内 T1w→T1w | SSD | 0.01° | ~2 px | 0.989 |
| 模内 T1w→T1w | CC | 0.01° | ~2 px | 0.989 |
| 模内 T1w→T1w | RIU | 7.66° | 发散 | 0.871 |
| 模间 T2w→T1w | SSD | 3.17° | ~3 px | 0.988 |
| 模间 T2w→T1w | CC | 7.11° | ~3.5 px | 被困局部极值 |
| 模间 T2w→T1w | RIU | 11.17° | 发散 | 0.888 |
关键结论:
- RIU 不可用于配准优化:背景零值和边界微小错位使比值图像剧烈波动
- SSD 在模间配准中「欺骗成功」:Dice 看起来高(0.988),但角度残差 3.17°——只是将脑轮廓推叠在一起,内部结构未对齐
- 基础 SGD 在 MI 下完全失效:离散 MI 的阶梯状曲面使梯度处处为零
Project 2 Bonus:Powell 无梯度优化
改进策略:用 Powell 算法(无梯度方向集法)替代 SGD,并在模内用 SSD、模间用 MI。
Powell 算法原理:
- 不需要计算目标函数的导数
- 在一组共轭方向上独立进行一维线搜索
- 天生适合处理不平滑的目标函数(如 MI)
改进效果:
| 任务 | 方法 | 角度残差 | Dice 后 |
|---|---|---|---|
| 模内 | SSD + Powell | 0.00° | 0.989 |
| 模间 | MI + Powell | 0.28° | 0.995 |
核心启示:算法选择必须契合目标函数的数学特性——不平滑的 MI 曲面需要无导数优化。
Project 3:基于工具的配准(Tool-based Registration)
实验内容:使用 SimpleITK 工业级框架重构刚性配准任务,与 Project 2 的手动 SGD 进行全面对比。
实验原理——SimpleITK 的四大核心机制:
-
Mattes 互信息(Mattes MI):用 B-spline 核密度估计使 MI 曲面连续可导,打破了传统离散 MI 无法用梯度下降的魔咒
-
正则化步长梯度下降(Regular Step Gradient Descent):梯度方向一致 → 维持步长;梯度方向反转(跨越极小值)→ 步长自动减半;无需手工调整学习率衰减
-
多分辨率金字塔(Multi-resolution Pyramid):
ShrinkFactors = [4, 2, 1]:先 \(4\times\) 降采样粗配准 → \(2\times\) → 原始分辨率微调;粗分辨率上快速跨越局部极小值,细分辨率上精准收敛 -
物理空间参数缩放(Physical Shift Scaling):自动均衡角度(弧度量级)与平移(像素量级)的更新步长;解决了手动 SGD 无法处理参数量纲失衡的问题
对比结果:
| 任务 | 指标 | 手动 SGD 残差 | SITK 残差 |
|---|---|---|---|
| 模内 | SSD | 0.01°, ~2 px | 0.00°, ~0.02 px |
| 模内 | CC | 0.01°, ~2 px | 0.00°, ~0.02 px |
| 模间 | SSD | 3.17°, ~3 px | 3.28°, ~1.7 px |
| 模间 | CC | 7.11°, ~3.5 px | 7.24°, ~3 px |
结论:
- 同模态:SITK 达到亚像素级精度,归功于参数缩放和多分辨率策略
- 跨模态:SSD/CC 的误差在 SITK 同样无法消除——问题在相似度指标的数学假设被破坏,而非优化器不够优秀
智能梯度下降 vs 手动 SGD
SimpleITK 的 Regular Step Gradient Descent 通过自适应步长和物理空间参数缩放两大机制,将手动 SGD 难以收敛的参数量纲问题、步长震荡问题彻底解决。但要完成跨模态配准,仍需在 Project 2 Bonus 中使用 MI + Powell 策略。
历年卷解答
一、雅可比矩阵的计算依赖(2022 选择)
知识点定位:非线性配准 — 雅可比矩阵
题目:"雅可比矩阵依靠什么计算?" 选项:二阶导 / 一阶导 / 偏导 / 其他
答案:偏导。
解释:雅可比矩阵的每个元素是变形场分量对空间坐标的偏导数,例如 \(\frac{\partial u_x}{\partial x}\)、\(\frac{\partial u_x}{\partial y}\) 等。它描述的是变形场在每个局部的空间变化率——既不是一阶全导数,也不是二阶导数。
二、跨模态配准的相似度指标选择(2022 判断)
知识点定位:相似度度量 — MI vs CC
题目:"对于 MRI T1 与 T2 两个模态的配准,使用相关系数(CC)是否比互信息(MI)更好。"
答案:错误。跨模态配准使用互信息(MI)更好。
解释:T1w 和 T2w 之间存在严重的组织对比度反转(如脑脊液在 T1 中是暗的,在 T2 中是亮的),两者灰度值之间不存在线性关系。CC 假设图像间存在线性关系,因此 CC 在跨模态下数值接近零(-0.11),无法指导配准。MI 基于联合概率分布而非灰度值本身,不依赖线性假设,是跨模态配准的黄金标准。
三、配准流程与熵计算(2022 大题)
知识点定位:配准流水线 + 信息论
题目:
- 画出配准流程图
- 给定两个矩阵,分别计算熵 \(H(X) = -\sum p_i \log p_i\)
- 计算联合直方图(数对应 \((x,y)\) 的数量)
解答:
(1) 配准流程图

核心三大步骤:
- 定义变换类型(刚性/仿射/非线性)
- 定义相似度指标(SSD/CC/MI)
- 优化变换参数使相似度最大化
(2) 熵的计算示例
假设给矩阵 \(X = \begin{bmatrix} 1 & 2 \\ 2 & 3 \end{bmatrix}\),灰度值及频数为:\(p(1) = \frac{1}{4}\),\(p(2) = \frac{2}{4} = \frac{1}{2}\),\(p(3) = \frac{1}{4}\)
(3) 联合直方图的计算方法
对于两个相同大小的图像 \(X\) 和 \(Y\):
- 初始化一个 \(L \times L\) 的矩阵 \(H[i,j] = 0\)(\(L\) 为灰度级数)
- 遍历所有像素位置 \((m,n)\):\(H[X(m,n), Y(m,n)] \mathrel{+}= 1\)
- 归一化得到联合概率:\(p(i,j) = H[i,j] / \sum_{i,j} H[i,j]\)
示例:
若 \(X = \begin{bmatrix} 1 & 2 \\ 2 & 1 \end{bmatrix}\),\(Y = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}\)
联合直方图 \(H\):
-
\((1,2)\):\(X(0,0)=1, Y(0,0)=2\) + \(X(1,1)=1, Y(1,1)=2\) → 2 次
-
\((2,1)\):\(X(0,1)=2, Y(0,1)=1\) + \(X(1,0)=2, Y(1,0)=1\) → 2 次
从中可计算 \(H(X,Y) = -0.5\log(0.5) - 0.5\log(0.5) = \log 2\)。
四、Jacobian 行列式与体积变化(2021 判断 / 2020 判断)
知识点定位:非线性配准 — Jacobian 行列式
题目(2021 判断):"雅各比矩阵可用于体积变换分析。"
答案:正确。
题目(2020 判断):"可以利用雅可比矩阵计算配准后体积变化。"
答案:正确。
解释:雅可比行列式 \(\det(J)\) 衡量了配准变换在局部的体积缩放比例。\(\det(J) > 1\) 表示膨胀,\(\det(J) < 1\) 表示收缩,\(\det(J) = 1\) 表示体积不变。基于张量的形态测量(TBM)正是利用 Jacobian determinant 来检测脑组织的局部萎缩或膨胀。
五、微分同胚变换的性质(2020 选择)
知识点定位:非线性配准 — 微分同胚变换
题目:"微分同胚(diffeomorphic)的三个性质中,以下哪个不是?"
答案:选择那个不是微分同胚性质的选项。
微分同胚的三个性质:
- 一一映射(One-to-one / Injective):变换后无两点重叠
- 可逆(Invertible / Surjective):逆变换存在,覆盖整个目标空间
- 光滑可微(Smooth / Differentiable):变换函数和逆函数都连续可微
微分同胚要求同时满足一一映射 + 满射 + 光滑 + 光滑逆,确保在配准过程中不会出现折叠(folding)——即 \(\det(J) > 0\) 处处成立。
六、仿射变换与双线性插值(2021 大题)
知识点定位:线性变换 + 插值
题目:给定图像和一种仿射变换操作(旋转 + 平移),要求:
- 画出变换后的图像
- 写出仿射变换矩阵
- 用双线性插值计算变换后某一点的灰度值
解答要点:
(1) 仿射变换矩阵
对于先旋转 \(\theta\) 再平移 \((t_x, t_y)\) 的操作,变换矩阵为:
(2) 双线性插值
当变换后的坐标 \((x', y')\) 落在非整数位置时,在 \(2 \times 2\) 邻域内进行线性加权:
其中 \(a = x' - \lfloor x' \rfloor\),\(b = y' - \lfloor y' \rfloor\) 为小数部分。
注意
仿射变换矩阵的写法需要注意旋转中心:如果绕原点旋转再平移,矩阵如上;如果绕图像中心旋转,需要先将中心平移至原点,旋转后再平移回去。
七、空间变换的可互换性(2020 大题)
知识点定位:线性变换 — 空间变换的复合
题目:对图像先做平移再做旋转(给定位移和角度),问:
- 这个操作是否可以互换(先旋转再平移得到相同结果)?
- 对于空间上某一个点,求其在平移+旋转得到的新坐标系下的坐标
解答要点:
(1) 旋转和平移不可互换
一般而言,旋转和平移的复合顺序不可交换:
- 先平移 \((t_x, t_y)\) 再旋转 \(\theta\):\(p' = R(p + t)\)
- 先旋转 \(\theta\) 再平移 \((t_x, t_y)\):\(p' = Rp + t\)
两式展开不同(\(Rt \neq t\) 除非旋转角度为 \(0\)),因此一般不可互换。
(2) 点的坐标变换
若先平移再旋转:
先做平移的乘法,再左乘旋转矩阵即可得到最终坐标。
八、不同分辨率图像的配准变换选择(2021 选择)
知识点定位:变换类型 — 多分辨率配准
题目:"不同分辨率图像配准采用什么变换?"
答案:相似变换(Similarity Transformation) 或 仿射变换(Affine Transformation)。
解释:不同分辨率的图像之间除了位置和角度的差异,还存在尺度(缩放)的差异。刚性变换(6 自由度)无法处理缩放,因此至少需要相似变换(7 自由度,包含均匀缩放)或仿射变换(12 自由度,可处理各向异性缩放)。