新未名空间

rgg 写了： 2023年 1月 10日 10:27 没看视频。 我试着捋捋：
假如你有个矩阵A(m x n), 那它可以看作一个从n维空间到m空间的线性映射。 SVD是说你总能找到原空间和像空间的正交基，使得A是这两组基之间的投影和scaling变换。 A= USV', V 是原空间的基， U是像空间的基。

那么PCA就是，　假如你有一个方阵C(n x n), 如果你可以把它写成　C= A'A(也就是说如果C可以写成一个线性变换A定义的内积） 那么　C= VS^2V'. A的正交基V就成了C的主成分。 （PC1是V的列）。

主要是这两句不懂：
1，C可以写成一个线性变换A定义的内积。
2，A的正交基V。

推导还是懂的。

TheMatrix 写了： 2023年 1月 9日 12:33 PID模分解定理我以前基本上就是直接接受了。看来这里有不trivial的地方啊。比如循环分解定理：找一个向量v，它生成的子模是一个direct summand。这个direct summand的要求不容易证明。

模的直和分解，这在线性空间中不存在的问题，在这里成了问题。哪个子模可以作为直和的一份子，成了大问题。

TheMatrix 写了： 2023年 1月 9日 12:33 PID模分解定理我以前基本上就是直接接受了。看来这里有不trivial的地方啊。比如循环分解定理：找一个向量v，它生成的子模是一个direct summand。这个direct summand的要求不容易证明。

哪位能解释一下循环子模和循环不变子空间？怎么会出现循环？

FoxMe 写了： 2023年 1月 11日 13:00 哪位能解释一下循环子模和循环不变子空间？怎么会出现循环？

循环只是一个名字吧？cyclic submodule，就是singly generated submodule，这里应该没有循环往复的意思。

不过cyclic group确实有循环往复的意思。

不过它们都是单元素生成的，可能在这个意义上叫cyclic。

可能是这么来的：

它的基是一种特殊形式：

TheMatrix 写了： 2023年 1月 10日 20:14 主要是这两句不懂：
1，C可以写成一个线性变换A定义的内积。
2，A的正交基V。

推导还是懂的。

回答一下TheMatrix的问题。和前面rgg发的帖的字母选取有稍许不同。先写出来有4点不同，
1，他说A矩阵是mxn，（n是subjects，m是features），我这里用nxp，n是subjects, p是features。我为啥要这样用？因为“n by p”矩阵是统计系里面的标准表述；他肯定是别的出身比如EE，不是统计系出身）
2，SVD他用的USV'，我写UDV'，一回事，S=D
3，因为A矩阵的选取不同，自相关矩阵C他说是A'A，我说是AA'，从1看其实是一回事。
4，因为3的不同（归根到底是1的不同），他最后得到的eigen value decomposition是V Lambda V'，我得到的是U Lambda U'。也是一回事。

下面开始表述。

首先我们有一个A矩阵，它是nxp的，n行，p列；n一般是subjects，就是你关心的对象，p是features。rgg说A是一个线性变换，呃，也不是不可以，因为任何一个矩阵都可以被说成是一个线性变换。

C一般是你关心的对象的自相关矩阵，它的计算是这样从A来的：首先把A的各行减去其行内部元素的均值。然后再把各行内部元素scale一下使得每行内部元素的平方和为1。如此处理后，C=AA'就变成了自相关矩阵，主对角线上全部是1，次对角线上的值有正有负，但是其绝对值都小于1。这就是rgg说的“C可以写成一个线性变换A定义的内积”。你不做scaling这一步也可以，这样C就不是一个自相关矩阵，而是一个方差矩阵。都行，反正都是正定的。

你若想得到C的pricipal components，你需要这么做：先做C的eigen value decomposition，也就是得到C=U Lambda U'，然后把eigen values按照从大到小排列， 这样U的前面几个向量就是你要的principal components。

怎样通过A的SVD来求C的eigen decomposition？这样做：先做SVD，得到A=UDV'；那么C=AA'=UDV'VDU'=U D^2 U'，且D^2为对角阵，其实它就是Lambda; 所以C=UD^2U', 也把Lambda的对角线值按照大小排来，这样C的principal components是U的前几个向量。这就是rgg说的“A的（SVD分解的第一个U矩阵的）正交基U”

FoxMe 写了： 2023年 1月 11日 17:11 可能是这么来的：

这个水印看的我心里直发毛，这是怎么回事？

Caravel 写了： 2023年 1月 11日 17:49 这个水印看的我心里直发毛，这是怎么回事？

白肺图片看多了

verdelite 写了： 2023年 1月 11日 17:27 回答一下TheMatrix的问题。和前面rgg发的帖的字母选取有稍许不同。先写出来有4点不同，
1，他说A矩阵是mxn，（n是subjects，m是features），我这里用nxp，n是subjects, p是features。我为啥要这样用？因为“n by p”矩阵是统计系里面的标准表述；他肯定是别的出身比如EE，不是统计系出身）
2，SVD他用的USV'，我写UDV'，一回事，S=D
3，因为A矩阵的选取不同，自相关矩阵C他说是A'A，我说是AA'，从1看其实是一回事。
4，因为3的不同（归根到底是1的不同），他最后得到的eigen value decomposition是V Lambda V'，我得到的是U Lambda U'。也是一回事。

下面开始表述。

首先我们有一个A矩阵，它是nxp的，n行，p列；n一般是subjects，就是你关心的对象，p是features。rgg说A是一个线性变换，呃，也不是不可以，因为任何一个矩阵都可以被说成是一个线性变换。

C一般是你关心的对象的自相关矩阵，它的计算是这样从A来的：首先把A的各行减去其行内部元素的均值。然后再把各行内部元素scale一下使得每行内部元素的平方和为1。如此处理后，C=AA'就变成了自相关矩阵，主对角线上全部是1，次对角线上的值有正有负，但是其绝对值都小于1。这就是rgg说的“C可以写成一个线性变换A定义的内积”。你不做scaling这一步也可以，这样C就不是一个自相关矩阵，而是一个方差矩阵。都行，反正都是正定的。

你若想得到C的pricipal components，你需要这么做：先做C的eigen value decomposition，也就是得到C=U Lambda U'，然后把eigen values按照从大到小排列， 这样U的前面几个向量就是你要的principal components。

怎样通过A的SVD来求C的eigen decomposition？这样做：先做SVD，得到A=UDV'；那么C=AA'=UDV'VDU'=U D^2 U'，且D^2为对角阵，其实它就是Lambda; 所以C=UD^2U', 也把Lambda的对角线值按照大小排来，这样C的principal components是U的前几个向量。这就是rgg说的“A的（SVD分解的第一个U矩阵的）正交基U”

谢谢。我先问几个问题。

subjects对应视频里的sample，features对应视频里的gene。对吗？

视频中第一个例子是6个sample，2个gene。视频里面表格是横着的。那么对应你这个nXp就是6X2。这是一个竖着的矩阵。对吧？横着的还是竖着的对应着不同的习惯，我只是想了解一下。

TheMatrix 写了： 2023年 1月 11日 18:01 谢谢。我先问几个问题。

subjects对应视频里的sample，features对应视频里的gene。对吗？

视频中第一个例子是6个sample，2个gene。视频里面表格是横着的。那么对应你这个nXp就是6X2。这是一个竖着的矩阵。对吧？横着的还是竖着的对应着不同的习惯，我只是想了解一下。

两个你都说的对的。

verdelite 写了： 2023年 1月 11日 18:04 两个你都说的对的。

谢谢。

嗯，你的矩阵是6X2，竖着放的，AA'是2X2方阵。rgg的矩阵是2X6，横着放的，所以是A'A，也是2X2方阵。

你的处理有一个减去均值的操作，对应视频里面的平移到以原点为中心的操作。这步应该是必要的。rgg没说，但是应该是隐含的，因为是需要的。对吧？

C可以写成一个A定义的内积。我感觉差不多明白了，但是还差一点。我知道一个方阵，满秩的，是可以定义内积。<x,y>=x^TAy就可以。但是这里A不是方阵。不过C是方阵。也就是说是通过A得到的方阵C定义的内积？<x,y>=x^TAA'y。

TheMatrix 写了： 2023年 1月 11日 19:05 谢谢。

嗯，你的矩阵是6X2，竖着放的，AA'是2X2方阵。rgg的矩阵是2X6，横着放的，所以是A'A，也是2X2方阵。

你的处理有一个减去均值的操作，对应视频里面的平移到以原点为中心的操作。这步应该是必要的。rgg没说，但是应该是隐含的，因为是需要的。对吧？

C可以写成一个A定义的内积。我感觉差不多明白了，但是还差一点。我知道一个方阵，满秩的，是可以定义内积。<x,y>=x^TAy就可以。但是这里A不是方阵。不过C是方阵。也就是说是通过A得到的方阵C定义的内积？<x,y>=x^TAA'y。

我的AA'是6X6方阵。rgg的A'A也是6x6（subjects by subjects）。

TheMatrix 写了： 2023年 1月 11日 19:05 谢谢。

嗯，你的矩阵是6X2，竖着放的，AA'是2X2方阵。rgg的矩阵是2X6，横着放的，所以是A'A，也是2X2方阵。

你的处理有一个减去均值的操作，对应视频里面的平移到以原点为中心的操作。这步应该是必要的。rgg没说，但是应该是隐含的，因为是需要的。对吧？

C可以写成一个A定义的内积。我感觉差不多明白了，但是还差一点。我知道一个方阵，满秩的，是可以定义内积。<x,y>=x^TAy就可以。但是这里A不是方阵。不过C是方阵。也就是说是通过A得到的方阵C定义的内积？<x,y>=x^TAA'y。

rgg所谓内积（用我的表述AA'来说明），取A的第一个行向量A1=(A11,A12,A13... A1p)；那么AA'的第一个元素(1,1)是：<A1,A1>=A11*A11+A12*A12+...+A1p*A1p。这就是内积的定义。AA'的第二个元素(1,2)是：<A1,A2>=A11*A12+A12*A22+...+A1p*A2p，这就是内积的定义。

verdelite 写了： 2023年 1月 11日 19:07 我的AA'是6X6方阵。rgg的A'A也是6x6（subjects by subjects）。

哦对。我搞错了。因为我在往2X2上凑。对，你的是6X6，rgg的也是6X6。

verdelite 写了： 2023年 1月 11日 19:12 rgg所谓内积（用我的表述AA'来说明），取A的第一个行向量A1=(A11,A12,A13... A1n)；那么AA'的第一个元素(1,1)是：<A1,A1>=A11*A11+A12*A12+...+A1n*A1n。这就是内积的定义。AA'的第二个元素(1,2)是：<A1,A2>=A11*A12+A12*A22+...+A1n*A2n，这就是内积的定义。

哦。这么个内积。

我刚回来想说理解了 - 如果C是2X2的话，方阵，正定，所以它可以定义一个内积x^tCy，所以by abuse of notation，就管它叫内积也行 - 所以C是一个由A定义的内积。

但是你C是6X6的，它还能正定吗？它满秩吗？

当然你说<A1,A1>，<A1,A2>，。。。这样说内积也可以。但是6X6的是不是满秩的？说不定它也是。我想想。

TheMatrix 写了： 2023年 1月 11日 19:40 哦。这么个内积。

我刚回来想说理解了 - 如果C是2X2的话，方阵，正定，所以它可以定义一个内积x^tCy，所以by abuse of notation，就管它叫内积也行 - 所以C是一个由A定义的内积。

但是你C是6X6的，它还能正定吗？它满秩吗？

当然你说<A1,A1>，<A1,A2>，。。。这样说内积也可以。但是6X6的是不是满秩的？说不定它也是。我想想。

视频里面n=6，p=2。当然不满秩。不满秩就不能正定，而是半正定的。但是视频也就是需要直观说明，所以无法弄很多个p。

对这样的subject自相关矩阵做PCA，可以将subjects分类。比如n=20人里面有10个尼安德特人，10个丹尼索瓦人。这样PCA可以把这两群人分开。

其实你也可以对feature自相关矩阵做PCA，那么你可以把feature分类。

参见这个帖（里面讨论如果不做Centering会怎样）里面我的回答，viewtopic.php?p=503877#p503877

verdelite 写了： 2023年 1月 11日 19:55 视频里面n=6，p=2。当然不满秩。不满秩就不能正定，而是半正定的。但是视频也就是需要直观说明，所以无法弄很多个p。

对这样的subject自相关矩阵做PCA，可以将subjects分类。比如n=20人里面有10个尼安德特人，10个丹尼索瓦人。这样PCA可以把这两群人分开。

其实你也可以对feature自相关矩阵做PCA，那么你可以把feature分类。

参见这个帖（里面讨论如果不做Centering会怎样）里面我的回答，viewtopic.php?p=503877#p503877

AA’和A’A是同秩的吧？也就是6X6和2X2是同秩的？都是两个eigenvalue，两个eigenvector。

TheMatrix 写了： 2023年 1月 11日 21:05 AA’和A’A是同秩的吧？也就是6X6和2X2是同秩的？都是两个eigenvalue，两个eigenvector。

是的。只是eigenvector长度不同，和矩阵大小匹配。

FoxMe 写了： 2023年 1月 11日 17:13 它的基是一种特殊形式：

我觉得是一样的。可以这样表述：

An F-vector space V with a linear transformation τ is also a F[x]-module (torsion module) with x.v = τ(v).

A subspace S of V (as a vector subspace) is τ-cyclic (with m) if and only if S is a cyclic submodule of V (as a F[x]-submodule) (with minimal polynomial of degree m).