Epipolar a personal journal

Cholesky 分解(三)

上文我们提到了 Cholesky 分解面临的一个问题,就是对于一些形状的矩阵存在的过度 fill-in 。我们举了两个具体的例子:一个左上箭头形的矩阵和右下箭头形的矩阵。其中,对左上箭头形的矩阵的 Cholesky 分解将得到非常稠密的结果;而对右下箭头形的矩阵的分解则保持了原始的稀疏性。

那么如果一个方程 $Ax=b$ 中的 $A$ 碰巧是左上箭头形状,我们还能使用 Cholesky 分解来加快求解吗?坏消息是:直接 Cholesky 分解的话,得到的将会是稠密的线性系统,计算量会严重增大。好消息是:我们可以通过调整变量的顺序,也就是调整矩阵的行和列,将它变成更加喜闻乐见的(右下箭头)形状。

先来介绍一下更一般的结论:假设 $P$ 是一个置换矩阵(Permutation Matrix),可以通过求解 $PAP^T Px = Pb$ 来得到方程 $Ax = b$ 的解。而通过选择合适的 $P$ ,矩阵 $M = PAP^T$ 的 Cholesky 分解可能比 $A$ 本身的 Cholesky 分解更加稀疏。

为了说明这一点,我们来看看矩阵本身的稀疏模式如何影响 Cholesky 分解的稀疏性。首先,我们忽略矩阵中具体的数值,仅将非零的元素标记出来,得到一个着色的块图,例如下图中的 A 。

根据我们在系列第一篇文章中介绍的 Cholesky 分解算法,我们总是先求出结果的第一行第一列,然后在剩余的部分中减去第一列和第一行的乘积。因此,我们先在矩阵中选择(Pivot)一个目标的行列,将它移动(Permute)到首行首列,然后将它从剩余的部分中去除(Eliminate)。对剩余的部分,我们可以如法炮制继续下去。为了简化讨论,我们还假设计算中不存在任何因为数值舍入产生零的情况。

在上图中,我们展示了两种 Pivot 策略,B1 选择了第 4 行第 4 列,而 B2 则选择了第 5 行第 5 列。随后,将对应的行和列 Permute 到行列首,得到了 C1 和 C2 。

在其后的 Eliminate 中,这两种选择便表现出了差异:对于 B1 的 Pivot 方式,在进行 Eliminate 时,并不会对剩余的部分产生任何的影响。而 B2 的 Pivot 方式导致 C2 中首行首列存在非零元,这使得在 Eliminate 时,出现了引入新的非零元的机会。D2 中,我们用金色格点高亮了这两个新出现的非零元。

B1 相比 B2 的聪明之处是比较容易看出来的:B1 所在的行和列都是尽可能稀疏的,这样就大大降低了在 Eliminate 过程中引入新的非零元的机会。