出个线性代数问题考考大家：为什么数学之外的专业，碰到的特征向量问题99%都是在对付Hermitian矩阵，或者其实数子集实对称阵？

[Caravel]

矩阵很重要，真实工作里面方程数目一上去都是矩阵，还有矩阵之上的函数，

[bsmile]

谜底来了：其实前面已经有将军（FoxMe）说过了，“数学系之外，别的专业需要对付的特征向量问题，９９％是对付Hermitian阵”的原因，是这些阵是自相关矩阵。

至于为什么如此，这是有原因的。一般来说，一个线性变换A, 把向量x变成向量y，写成y=Ax。这种理解其实是初中生理解。就像们在初中学习了9=3^2，对数字进行运算。到了高中，我们研究的其实不是数字运算。而是研究函数的性质。这个平方函数，定义域是什么？值域是什么？在什么地方有极点？在什么范围内是增长的，什么范围内是下降的？

同样，我们不应该把A理解为A乘以x得到y。我们应该理解它是一个线性映射，它把x所在的向量空间，映射到y所在的向量空间。要把y和x所在的两个空间，理解为不同的空间，而不是同一个空间。

而我们研究的一般是y中各向量之间的关系(例如做PCA)。即使是研究y和x的关系（regression），我们分析的其实是residue （y=Ax+epsilon中的epsilon)，也是同一个空间（epsilon在y所在空间）中的向量相互之间的关系。

而同一个空间里面的两个向量，y1=Ax1，y2=Ax2，要研究y1和y2之间的关系，就变成研究Ax1和Ax2之间的关系。Ax1和Ax2之间的关系，内积是x1^*A^*Ax2，外积是Ax1x2^*A^*。其中A^*A是Hermitian阵，(x1x2^*)，当你写成一个大矩阵，包含各向量，也是一个Hermitian阵。

数学里面学的非Hermitian矩阵的特征值分解，例如A矩阵的特征分解，我还真没找到有什么用处。比如，在一个天气空间到粮食收成空间的线性变换中，我们发现3温度+2湿度-1风速这个向量，对应3玉米产量+2小麦产量-1土豆产量的lambda=1.35倍。这有啥用处？我想不出来。

SVD之类的不是用得挺多的吗？它的工作对象就是一般的矩阵吧？

[verdelite]

SVD之类的不是用得挺多的吗？它的工作对象就是一般的矩阵吧？

SVD就是半个Eigen decomposition；可以参见
viewtopic.php?p=489143#p489143

[bsmile]

SVD就是半个Eigen decomposition；可以参见
viewtopic.php?p=489143#p489143

但它的工作对象就是一般矩阵啊，不需要Hermitian或实数对称阵。

当然你的解释说自共轭因为两个问题要在同一个向量空间里头完成还是很有说服力的，的确很多具体的问题都归于这一类。

[verdelite]

但它的工作对象就是一般矩阵啊，不需要Hermitian或实数对称阵。

当然你的解释说自共轭因为两个问题要在同一个向量空间里头完成还是很有说服力的，的确很多具体的问题都归于这一类。

对头，这很符合标题，特征值分解（ Eigen decomposition) 处理的矩阵绝大多数是Hermitian矩阵（实对称阵包括在内）；
SVD（ singular value decomposition ）用来处理例子里A矩阵这样的向量变换矩阵。

为了方便，下面用上标prime来表示求共轭（或者transpose for real matrix)，
if A = UDV'（这是SVD），Then AA' = UDV'VD'U'=UDD'U'=ULambdaU' where Lambda=DD'为Eigen value diagonal矩阵。
A'A=VD'U'UDV'=VD'DV'=VLambdaV' where Lambda=D'D为Eigen value diagonal矩阵。

再增加一点：对自相关矩阵AA'，也是可以做SVD的。假设它的SVD是UDV'，它的Eigen decomposition是WLambdaW'（这里使用W是为了和SVD里面的U和V相区别）。那么D=Lambda。理想状况来说，U=V=W，但是因为计算SVD的时候没有U=V这个约束条件，由计算误差会带来U和V的微小区别。当然了，某些行或者列还可能存在正负号的区别，相应的D和Lambda里面的对应的值可能也有正负号区别。还有在Lambda里面两个本征值相等时候，U，V和W行列顺序可能也有不同。除此之外，AA'的SVD和Eigen decomposition在理论上是相等的。

这就是它们之间的关系。

[bsmile]

对头，这很符合标题，特征值分解（ Eigen decomposition) 处理的矩阵绝大多数是Hermitian矩阵（实对称阵包括在内）；
SVD（ singular value decomposition ）用来处理例子里A矩阵这样的向量变换矩阵。

为了方便，下面用上标prime来表示求共轭（或者transpose for real matrix)，
if A = UDV'（这是SVD），Then AA' = UDV'VD'U'=UDD'U'=ULambdaU' where Lambda=DD'为Eigen value diagonal矩阵。
A'A=VD'U'UDV'=VD'DV'=VLambdaV' where Lambda=D'D为Eigen value diagonal矩阵。

这就是它们之间的关系。

没有说某个问题一定要用到A'A啊。你是说一个实际问题里头几乎用不到Hermitian矩阵，并且你从空间到空间混合时间的变换关系举例来说明非呃密阵不存在的实际意义，后边的例子不需要A'A吧？

[verdelite]

没有说某个问题一定要用到A'A啊。你是说一个实际问题里头几乎用不到Hermitian矩阵，并且你从空间到空间混合时间的变换关系举例来说明非呃密阵不存在的实际意义，后边的例子不需要A'A吧？

我不是很理解你的问题。特别是这一段，“你是说一个实际问题里头几乎用不到Hermitian矩阵，并且你从空间到空间混合时间的变换关系举例来说明非呃密阵不存在的实际意义”，我不记得我说过这些，要么是Caravel说过什么？我看了一下他说的话，和你的描述也不是很吻合。能不能重新表述一下？

我举例里面有AA'和A'A，这是为了完整一点。只举AA'的例子也可以。

[ccmath]

本站支持latex吗？notation看着费劲

我出题大部分是出的概念题。懂就是懂，不懂就答不出来。

[verdelite]

本站支持latex吗？notation看着费劲

本站能够弄出上下标，但是支持latex得去自由蓝星，可以那边发帖，然后这边帖子里贴个链接

具体参加
viewtopic.php?p=387407#p387407

[（ヅ）]

谜底来了：其实前面已经有将军（FoxMe）说过了，“数学系之外，别的专业需要对付的特征向量问题，９９％是对付Hermitian阵”的原因，是这些阵是自相关矩阵。

至于为什么如此，这是有原因的。一般来说，一个线性变换A, 把向量x变成向量y，写成y=Ax。这种理解其实是初中生理解。就像们在初中学习了9=3^2，对数字进行运算。到了高中，我们研究的其实不是数字运算。而是研究函数的性质。这个平方函数，定义域是什么？值域是什么？在什么地方有极点？在什么范围内是增长的，什么范围内是下降的？

同样，我们不应该把A理解为A乘以x得到y。我们应该理解它是一个线性映射，它把x所在的向量空间，映射到y所在的向量空间。要把y和x所在的两个空间，理解为不同的空间，而不是同一个空间。

而我们研究的一般是y中各向量之间的关系(例如做PCA)。即使是研究y和x的关系（regression），我们分析的其实是residue （y=Ax+epsilon中的epsilon)，也是同一个空间（epsilon在y所在空间）中的向量相互之间的关系。

而同一个空间里面的两个向量，y1=Ax1，y2=Ax2，要研究y1和y2之间的关系，就变成研究Ax1和Ax2之间的关系。Ax1和Ax2之间的关系，内积是x1^*A^*Ax2，外积是Ax1x2^*A^*。其中A^*A是Hermitian阵，(x1x2^*)，当你写成一个大矩阵，包含各向量，也是一个Hermitian阵。

数学里面学的非Hermitian矩阵的特征值分解，例如A矩阵的特征分解，我还真没找到有什么用处。比如，在一个天气空间到粮食收成空间的线性变换中，我们发现3温度+2湿度-1风速这个向量，对应3玉米产量+2小麦产量-1土豆产量的lambda=1.35倍。这有啥用处？我想不出来。

太肤浅了，原来lz以为只有统计的才用到线性代数

动力系统里面不对称的矩阵不要太多(在lz的理解里这些矩阵的特征值特征向量问题显然不重要)

[verdelite]

太肤浅了，原来lz以为只有统计的才用到线性代数

动力系统里面不对称的矩阵不要太多(在lz的理解里这些矩阵的特征值特征向量问题显然不重要)

我学过控制论，基本上fail了。没学懂。

你举个动力系统里面，对不对称矩阵使用特征分解的应用例子呗。

[（ヅ）]

不过实对称矩阵确实属性非常好，之前发过一文小结

• 特征值一定是实数

• 不同特征值的特征向量正交

• 一定可以相似对角化

• 一定可以通过一个正交变换相似对角化

如果还能幂等的话还能得到特征值一定为0，1等更好的性质

[ccmath]

原来的题目就是“数学之外的专业”，你这些动力系统有什么能对应物理层面的问题的呢？

太肤浅了，原来lz以为只有统计的才用到线性代数

动力系统里面不对称的矩阵不要太多(在lz的理解里这些矩阵的特征值特征向量问题显然不重要)

[（ヅ）]

原来的题目就是“数学之外的专业”，你这些动力系统有什么能对应物理层面的问题的呢？

不会吧，阿波罗飞船的导航算吗？

卡尔曼滤波器的成名作

[princeton]

那是因为在绝大多数信号处理里（包含金融里的时间序列处理），最重要的就是对相关矩阵的处理。

[ccmath]

Kalman filter我也不太懂，请教一下里面的covariance matrix比如P_k|k应该是实对称矩阵吧？

不会吧，阿波罗飞船的导航算吗？

卡尔曼滤波器的成名作

[（ヅ）]

Kalman filter我也不太懂，请教一下里面的covariance matrix比如P_k|k应该是实对称矩阵吧？

模型的方程没有这个要求，如上所说的，一般的动力系统模型都不是对称的

包括最简单的例子 p_{k+1}= p_k + delta_t * p_k^'，这种上三角形式经常见到

[verdelite]

模型的方程没有这个要求，如上所说的，一般的动力系统模型都不是对称的

包括最简单的例子 p_{k+1}= p_k + delta_t * p_k^'，这种上三角形式经常见到

卡尔曼滤波我也学过，学得不好现在忘记了。

刚才网上看了一下，你说的上三角形式写成矩阵表示，大概相当于y=Ax那样的。还没找到要对A做特征分解的地方。

[FoxMe]

对，卡尔曼滤波里也是相关矩阵。

有个微分方程（或动力系统）的例子：dX(t)/dt = A X(t)。解为exp(At)X(0)，怎么求exp(At)?这里A一般不对称。

若果A可做特征分解A=UDU^*,那么exp(At) = U exp(Dt) U^*。因为D是对角的，这样计算很方便。

但是A不能做特征分解怎么办？这时就要用到约当标准型A = PJP^{-1}了，方法也是类似的。

本质是如何计算A的幂次A^n，其它A的函数f(A)也是类似的。约当标准型应该也是很重要的。

[Caravel]

对，卡尔曼滤波里也是相关矩阵。

有个微分方程（或动力系统）的例子：dX(t)/dt = A X(t)。解为exp(At)X(0)，怎么求exp(At)?这里A一般不对称。

若果A可做特征分解A=UDU^*,那么exp(At) = U exp(Dt) U^*。因为D是对角的，这样计算很方便。

但是A不能做特征分解怎么办？这时就要用到约当标准型A = PJP^{-1}了，方法也是类似的。

本质是如何计算A的幂次A^n，其它A的函数f(A)也是类似的。约当标准型应该也是很重要的。

属实，矩阵的函数属于一个非常有用但是没有被教授的数学