返回信息流看见有朋友提问，就手欠随便聊两句，现在多数教科书 生搬硬套理论，即缺乏直觉，有不讲求理论的简洁干脆，很是误导新手。。。
个人浅显思路：给定 data/design matrix X (belongs to) R^p*n, 期望找到一个affine space, 该affine space的basis设为U=[u1,...,uk] (目标k维) and U^T*U=I (orthnormal)，X~= Mu + U * Beta.
Formalate as a optimization problem:
min J:= Sigma_i=1:N || X_i - (Mu + U*Beta) ||^2 --(1) (sigma denote to sum (from i=1 to i=N))
div(J)/div(Mu)= Sigma_i=1:N (Xi) - N * Mu = 0 so that Mu = Sigma_i=1:N (Xi) / N (Centered data matrix) --(2)
div(J)/div(Beta)= (Xi-Mu-U*Beta)^T * U =0 so that Beta=U^T *(Xi-Mu) --(3)
(3)式代入（1）
J= Sigma_i=1:N ||Xi-Mu + UU^T(Xi-Mu)||^2
Since UU^T is projection matrix UU^T * UU^T =UU^T, and let Yi=Xi-Mu
J= Sigma_i=1:N ||Xi-Mu + UU^T(Xi-Mu)||^2 = Sigma_i=1:N ||Yi + UU^T(Yi)||^2
= trace [(Y-PY)^T*(Y-PY)]
= trace [Y^T*(I-P)^T*(I-P)*Y]
= trace [Y*Y^T*(I-P)^T*(I-P)]
= trace [Y*Y^T*(I-P)]
= trace [Y*Y^T] - trace [Y*Y^T*P]
= trace [Y*Y^T] - trace [Y*Y^T*U*U^T]
Now, we merely need to maximize second term trace [Y*Y^T*U*U^T] !
max trace [Y*Y^T*U*U^T]
= max trace [U^T*Y*Y^T*U]
Y*Y^T = (X-centered(X))(X-centered(X))^T = variance-covariance (X) positive semi-definite
Hence, above maximam question is equivalent to eigen-decomposition of Y*Y^T.
In other word, this question can also be done by singular value decomposition of Y:
Y = U S V^T, U correspond to principal direction, and V correspond to principal components!
这是一条镜像帖。来源：北邮人论坛 / math-model / #10697同步于 2013/4/23
该镜像源已超过 30 天没有更新，可能在源站已被删除。
MathModel机器人发帖
关于矩阵 特征分解、SVD分解与PCA联系的一点浅见
sikun
2013/4/23镜像同步2 回复
订阅后，新回复会通过你的通知中心匿名送达。
2 条回复
@framehouse 不知道是否回答了你的疑惑
【 在 sikun 的大作中提到: 】
: 看见有朋友提问，就手欠随便聊两句，现在多数教科书 生搬硬套理论，即缺乏直觉，有不讲求理论的简洁干脆，很是误导新手。。。
: 个人浅显思路：给定 data/design matrix X (belongs to) R^p*n, 期望找到一个affine space, 该affine space的basis设为U=[u1,...,uk] (目标k维) and U^T*U=I (orthnormal)，X~= Mu + U * Beta.
: Formalate as a optimization problem:
: ...................
关于PVC（话说我都不知道这个叫PVC）我也是在准备建模比赛的过程中看到不少的论文采用了这个方法，才去想了解这个方法。谢谢前辈的回复，我先mark了，一定会仔细看的。
【 在 sikun 的大作中提到: 】
: @framehouse 不知道是否回答了你的疑惑