新未名空间

verdelite 写了： 2022年 12月 9日 18:30 谜底来了：其实前面已经有将军（FoxMe）说过了，“数学系之外，别的专业需要对付的特征向量问题，９９％是对付Hermitian阵”的原因，是这些阵是自相关矩阵。

至于为什么如此，这是有原因的。一般来说，一个线性变换A, 把向量x变成向量y，写成y=Ax。这种理解其实是初中生理解。就像们在初中学习了9=3^2，对数字进行运算。到了高中，我们研究的其实不是数字运算。而是研究函数的性质。这个平方函数，定义域是什么？值域是什么？在什么地方有极点？在什么范围内是增长的，什么范围内是下降的？

同样，我们不应该把A理解为A乘以x得到y。我们应该理解它是一个线性映射，它把x所在的向量空间，映射到y所在的向量空间。要把y和x所在的两个空间，理解为不同的空间，而不是同一个空间。

而我们研究的一般是y中各向量之间的关系(例如做PCA)。即使是研究y和x的关系（regression），我们分析的其实是residue （y=Ax+epsilon中的epsilon)，也是同一个空间（epsilon在y所在空间）中的向量相互之间的关系。

而同一个空间里面的两个向量，y1=Ax1，y2=Ax2，要研究y1和y2之间的关系，就变成研究Ax1和Ax2之间的关系。Ax1和Ax2之间的关系，内积是x1^*A^*Ax2，外积是Ax1x2^*A^*。其中A^*A是Hermitian阵，(x1x2^*)，当你写成一个大矩阵，包含各向量，也是一个Hermitian阵。

数学里面学的非Hermitian矩阵的特征值分解，例如A矩阵的特征分解，我还真没找到有什么用处。比如，在一个天气空间到粮食收成空间的线性变换中，我们发现3温度+2湿度-1风速这个向量，对应3玉米产量+2小麦产量-1土豆产量的lambda=1.35倍。这有啥用处？我想不出来。

bsmile 写了： 2022年 12月 11日 11:59 SVD之类的不是用得挺多的吗？它的工作对象就是一般的矩阵吧？

verdelite 写了： 2022年 12月 11日 12:03 SVD就是半个Eigen decomposition；可以参见
viewtopic.php?p=489143#p489143

bsmile 写了： 2022年 12月 11日 12:16 但它的工作对象就是一般矩阵啊，不需要Hermitian或实数对称阵。

当然你的解释说自共轭因为两个问题要在同一个向量空间里头完成还是很有说服力的，的确很多具体的问题都归于这一类。

verdelite 写了： 2022年 12月 11日 13:51 对头，这很符合标题，特征值分解（ Eigen decomposition) 处理的矩阵绝大多数是Hermitian矩阵（实对称阵包括在内）；
SVD（ singular value decomposition ）用来处理例子里A矩阵这样的向量变换矩阵。

为了方便，下面用上标prime来表示求共轭（或者transpose for real matrix)，
if A = UDV'（这是SVD），Then AA' = UDV'VD'U'=UDD'U'=ULambdaU' where Lambda=DD'为Eigen value diagonal矩阵。
A'A=VD'U'UDV'=VD'DV'=VLambdaV' where Lambda=D'D为Eigen value diagonal矩阵。

这就是它们之间的关系。

bsmile 写了： 2022年 12月 11日 20:42 没有说某个问题一定要用到A'A啊。你是说一个实际问题里头几乎用不到Hermitian矩阵，并且你从空间到空间混合时间的变换关系举例来说明非呃密阵不存在的实际意义，后边的例子不需要A'A吧？

verdelite 写了： 2022年 12月 9日 10:10 我出题大部分是出的概念题。懂就是懂，不懂就答不出来。

ccmath 写了： 2022年 12月 12日 12:54 本站支持latex吗？notation看着费劲

verdelite 写了： 2022年 12月 9日 18:30 谜底来了：其实前面已经有将军（FoxMe）说过了，“数学系之外，别的专业需要对付的特征向量问题，９９％是对付Hermitian阵”的原因，是这些阵是自相关矩阵。

至于为什么如此，这是有原因的。一般来说，一个线性变换A, 把向量x变成向量y，写成y=Ax。这种理解其实是初中生理解。就像们在初中学习了9=3^2，对数字进行运算。到了高中，我们研究的其实不是数字运算。而是研究函数的性质。这个平方函数，定义域是什么？值域是什么？在什么地方有极点？在什么范围内是增长的，什么范围内是下降的？

同样，我们不应该把A理解为A乘以x得到y。我们应该理解它是一个线性映射，它把x所在的向量空间，映射到y所在的向量空间。要把y和x所在的两个空间，理解为不同的空间，而不是同一个空间。

而我们研究的一般是y中各向量之间的关系(例如做PCA)。即使是研究y和x的关系（regression），我们分析的其实是residue （y=Ax+epsilon中的epsilon)，也是同一个空间（epsilon在y所在空间）中的向量相互之间的关系。

而同一个空间里面的两个向量，y1=Ax1，y2=Ax2，要研究y1和y2之间的关系，就变成研究Ax1和Ax2之间的关系。Ax1和Ax2之间的关系，内积是x1^*A^*Ax2，外积是Ax1x2^*A^*。其中A^*A是Hermitian阵，(x1x2^*)，当你写成一个大矩阵，包含各向量，也是一个Hermitian阵。

数学里面学的非Hermitian矩阵的特征值分解，例如A矩阵的特征分解，我还真没找到有什么用处。比如，在一个天气空间到粮食收成空间的线性变换中，我们发现3温度+2湿度-1风速这个向量，对应3玉米产量+2小麦产量-1土豆产量的lambda=1.35倍。这有啥用处？我想不出来。

（ヅ） 写了： 2022年 12月 12日 13:07 太肤浅了，原来lz以为只有统计的才用到线性代数

动力系统里面不对称的矩阵不要太多(在lz的理解里这些矩阵的特征值特征向量问题显然不重要)

• 特征值一定是实数

• 不同特征值的特征向量正交

• 一定可以相似对角化

• 一定可以通过一个正交变换相似对角化

（ヅ） 写了： 2022年 12月 12日 13:07 太肤浅了，原来lz以为只有统计的才用到线性代数

动力系统里面不对称的矩阵不要太多(在lz的理解里这些矩阵的特征值特征向量问题显然不重要)

ccmath 写了： 2022年 12月 12日 13:24 原来的题目就是“数学之外的专业”，你这些动力系统有什么能对应物理层面的问题的呢？

（ヅ） 写了： 2022年 12月 12日 13:31 不会吧，阿波罗飞船的导航算吗？

卡尔曼滤波器的成名作

ccmath 写了： 2022年 12月 12日 13:47 Kalman filter我也不太懂，请教一下里面的covariance matrix比如P_k|k应该是实对称矩阵吧？

（ヅ） 写了： 2022年 12月 12日 14:09 模型的方程没有这个要求，如上所说的，一般的动力系统模型都不是对称的

包括最简单的例子 p_{k+1}= p_k + delta_t * p_k^'，这种上三角形式经常见到

FoxMe 写了： 2022年 12月 12日 16:57 对，卡尔曼滤波里也是相关矩阵。

有个微分方程（或动力系统）的例子：dX(t)/dt = A X(t)。解为exp(At)X(0)，怎么求exp(At)?这里A一般不对称。

若果A可做特征分解A=UDU^*,那么exp(At) = U exp(Dt) U^*。因为D是对角的，这样计算很方便。

但是A不能做特征分解怎么办？这时就要用到约当标准型A = PJP^{-1}了，方法也是类似的。

本质是如何计算A的幂次A^n，其它A的函数f(A)也是类似的。约当标准型应该也是很重要的。