前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Math-Model(五)正交分解(QR分解)

Math-Model(五)正交分解(QR分解)

作者头像
Pulsar-V
发布2019-04-01 16:46:29
5.8K0
发布2019-04-01 16:46:29
举报
文章被收录于专栏:Pulsar-VPulsar-V

正交分解

矩阵的正交分解又称为QR分解,是将矩阵分解为一个正交矩阵Q和一个上三角矩阵的乘积的形式。

任意实数方阵A,都能被分解为 。这里的Q为正交单位阵,即 R是一个上三角矩阵。这种分解被称为QR分解。 QR分解也有若干种算法,常见的包括Gram–Schmidt、Householder和Givens算法。 QR分解是将矩阵分解为一个正交矩阵与上三角矩阵的乘积。用一张图可以形象地表示QR分解:

为啥我们需要正交分解呢? 实际运用过程中,QR分解经常被用来解线性最小二乘问题,这个问题我们后面讲述。

提到正交分解就不得不讨论(Householder transformation Householder变换)豪斯霍尔德变换和(Schmidt orthogonalization Schmidt正交化)施密特正交化

Schmidt正交化

定理1 设A是n阶实非奇异矩阵,则存在正交矩阵Q和实非奇异上三角矩阵R使A有QR分解;且除去相差一个对角元素的绝对值(模)全等于1的对角矩阵因子外,分解是唯一的.

定理2 设A是m×n实矩阵,且其n个列向量线性无关,则A有分解A=QR,其中Q是m×n实矩阵,且满足QHTQ=E,R是n阶实非奇异上三角矩阵该分解除去相差一个对角元素的绝对值(模)全等于1的对角矩阵因子外是唯一的.用Schmidt正交化分解方法对矩阵进行QR分解时,所论矩阵必须是列满秩矩阵。

算法步骤

  1. 写出矩阵的列向量;
  2. 列向量按照Schmidt正交化正交;
  3. 得出矩阵的Q′,R′;
  4. 对R′的列向量单位化得到Q,R′的每行乘R′每列的模得푹

matlab代码

代码语言:javascript
复制
function[X,Q,R] = QRSchmidt(A,b)
%方阵的QR的Gram-Schmidt正交化分解法,并用于求解AX=b方程组[m,n]=size(A); 
if m~=n
	%如果不是方阵,则不满足QR分解要求
	disp('不满足QR分解要求');
end
Q=zeros(m,n);
X=zeros(n,1);
R=zeros(n);
for k=1:nR(k,k)=norm(A(:,k));
	if R(k,k)==0
		break;
	end
	Q(:,k)=A(:,k)/R(k,k);
	for j=k+1:n
		R(k,j)=Q(:,k)'*A(:,j); 
		A(:,j)=A(:,j)-R(k,j)*Q(:,k);
	end
if nargin==2
	b=Q'* b;
	X(n)=b(n)/R(n,n);
	for i=n-1:-1:1
		X(i)=(b(i)-sum(R(i,i+1:n).*X(i+1:n)'))/R(i,i);
	end
else
	X=[];
end
end

Householder变换

设A为任一n阶方阵,则必存在n阶酉矩阵Q和n阶上三角阵R,使得A=QR 设w∈Cn是一个单位向量,令

则称H是一个Householder矩阵或Householder变换。则对于任意的

存在Householder矩阵H,使得Hx=-au。其中

酉矩阵(unitary matrix) 若n阶复矩阵A满足

则称A为酉矩阵,记之为

其中,Ah是A的共轭转置 酉矩阵性质 如果A是酉矩阵

也是酉矩阵;

  1. det(A)=1;
  2. 充分条件是它的n个列向量是两两正交的单位向量。

算法步骤

  1. 将矩阵A按列分块写成A=(α1,α2,...,αn).如果α1≠0,则可得,存在n阶householder矩阵H1使得

于是有

如果α1=0,则直接进行下一步,此时相当于取

,而a1=0.

  1. 将矩阵An-1按列分块写成An-1=(αi,α2,... ,αn-1)。如果α1≠0,则可得,存在n-1阶householder矩阵H’2使得

于是有

此时,令

则H2是n阶Householder矩阵,且使

如果α1=0,则直接进行下一步

  1. 对n-2阶矩阵继续进行类似的变换,如此下去,之多在第n-1步,我们可以找到Householder矩阵H1,H2,...,Hn-1使得

,则Q是酉矩阵之积,从而必有酉矩阵并且A=QR

matlab代码

代码语言:javascript
复制
function[ X,Q,R ] = QRHouseholder(A,b)
%用Householder变换将方阵A分解为正交Q与上三角矩阵R的乘积,并用于求解AX=b方程组
[n,n]=size(A);
E=eye(n);
X=zeros(n,1);
R=zeros(n);
P1=E;
for k=1:n-1
	%构造w,使Pk=I-2ww'
	s=-sign(A(k,k))* norm(A(k:n,k));
	R(k,k)=-s;
	if k==1
		w=[A(1,1)+s,A(2:n,k)']';
	else
		w=[zeros(1,k-1),A(k,k)+s,A(k+1:n,k)']';
		R(1:k-1,k)=A(1:k-1,k);
	end
	if  norm(w)~=0
		w=w/norm(w);
	end
	P=E-2*w*w';
	A=P*A;
	P1=P*P1;
	R(1:n,n)=A(1:n,n);
end
Q=P1';
if nargin==2
	b=P1*b;
	X(n)=b(n)/R(n,n);
	for i=n-1:-1:1
		X(i)=(b(i)-sum(R(i,i+1:n).*X(i+1:n)'))/R(i,i);
	end
else
	X=[];
end

matlab自带方法

代码语言:javascript
复制
%产生一个3*3大小的魔方矩阵
A=magic(3)
[Q,R]=qr(A)

使用Eigen C++ Eigen提供了几种矩阵分解的方法

分解方式

Method

矩阵满足条件

计算速度

计算精度

PartialPivLU

partialPivLu()

Invertible

++

FullPivLU

fullPivLu()

None

-

+++

HouseholderQR

householderQr()

None

++

ColPivHouseholderQR

colPivHouseholderQr()

None

++

FullPivHouseholderQR

fullPivHouseholderQr()

None

-

+++

LLT

llt()

Positive definite

+++

LDLT

ldlt()

Positive or negative semidefinite

+++

++

其中HouseholderQR、ColPivHouseholderQR、FullPivHouseholderQR是我们目前要用到的QR分解方法 C++的QR分解代码为

代码语言:javascript
复制
#include <iostream>
#include <Eigen/Dense>
using namespace Eigen;
using namespace std;
int main() {
    Matrix3d A;
    A<<1,1,1,
            2,-1,-1,
            2,-4,5;

    HouseholderQR<Matrix3d> qr;
    qr.compute(A);
    MatrixXd R = qr.matrixQR().triangularView<Upper>();
    MatrixXd Q =  qr.householderQ();
    std::cout << "QR2(): HouseholderQR---------------------------------------------"<< std::endl;
    std::cout << "A "<< std::endl <<A << std::endl << std::endl;
    std::cout <<"qr.matrixQR()"<< std::endl << qr.matrixQR() << std::endl << std::endl;
    std::cout << "R"<< std::endl <<R << std::endl << std::endl;
    std::cout << "Q "<< std::endl <<Q << std::endl << std::endl;
    std::cout <<"Q*R" << std::endl <<Q*R << std::endl << std::endl;
    return 0;
}

输出

好了大功告成,为什么我要写计算方法的文章呢,虽然现在有很多的库和包给我们调用,但是我们也不能忘了代码的本质是为了解决复杂的数学问题,从根源上去理解一种计算方法有助于我们对自身代码的优化,比如这些方法我们可以把它写到FPGA和CUDA等并行或者分布式的计算当中,加速我们的计算方法,这比直接单机去调用这些库会超乎想象的快。

(adsbygoogle = window.adsbygoogle || []).push({});

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 正交分解
  • Schmidt正交化
    • 算法步骤
      • matlab代码
      • Householder变换
        • 算法步骤
          • matlab代码
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档