求教LDA (linear discriminant analysis)

bd 唔，数学一般，等大牛来讲~ 【 在 liyus (IanLee) 的大作中提到: 】 : 以前一直直接拿来用 最近看了一下LDA的推导 看不懂啊 : 特来求教各位师兄师姐 thx : 有熟悉的可以给我讲讲么 : ...................

Pattern recognition and machine learning里面讲的比较容易懂， 这个确实有些难懂， 思想就是内类方差/内间方差最小， 也就是找到一些投影基地满足这个优化问题， 具体用的很少。。。 【 在 liyus 的大作中提到: 】 : 以前一直直接拿来用 最近看了一下LDA的推导 看不懂啊 : 特来求教各位师兄师姐 thx : 有熟悉的可以给我讲讲么 : ...................

【 在 luoye 的大作中提到: 】 : Pattern recognition and machine learning里面讲的比较容易懂， 这个确实有些难懂， : 思想就是内类方差/内间方差最小， 也就是找到一些投影基地满足这个优化问题， 具体用的很少。。。 : 【 在 liyus 的大作中提到: 】 : ................... 大体思想我懂 就是推导看不懂 还有那几个目标函数J1 J2 J3的关系我也不懂。。。

乍一看以为是Latent Dirichlet Allocation…… 【 在 liyus 的大作中提到: 】 : : Pattern recognition and machine learning里面讲的比较容易懂， 这个确实有些难懂， : : 思想就是内类方差/内间方差最小， 也就是找到一些投影基地满足这个优化问题， 具体用的很少。。。 : : 【 在 liyus 的大作中提到: 】 : ...................

【 在 liyus 的大作中提到: 】 : 以前一直直接拿来用 最近看了一下LDA的推导 看不懂啊 : 特来求教各位师兄师姐 thx : 有熟悉的可以给我讲讲么 : ................... 可以参考A.R. Webb的“统计模式识别”，2nd，翻译版；看 pp.115-117和pp.261-262吧 类似于 解决这个优化问题 arg max_x xBx / xWx, 可以转换为等价形式 ==> max xBx, s.t. xWx=1 首先让分母的矩阵单位化，相当于保证等价形式问题中的约束项，从物理意义上看，是让类内分布为标准正态，从几何上是一个坐标变换过程，代数上可以借助矩阵本征值分解实现（即矩阵对角化-〉单位化）； 然后，第二步，关于x 解 max x^T B_new x， s.t. x^T x =1, 代数意义为 寻找一个投影方向x，使得矩阵B_new投影在x上的能量最大，即x B_new x 最大，这是一个标准的矩阵特征值问题： 简单检验一下即可看出怎么确定最优解，B_new x =\lambda x，\lambda 为特征向量x对应的特征值，代入目标函数中 x^T B_new x = x^T \lambda x =\lambda x^T x =\lambda (注意到 x^T x=1) => 即目标函数的最大值为B_new最大特征值，因此可以知道最优的投影方向x就是最大特征值对应的方向，如果需要多个方向，那么从大到小贪婪地选取即可。 简单地说，第二步就是一个主成分分析（PCA)的过程，PCA的代数意义为寻找一个建立在数据上的全局线性正交坐标系，物理意义可以理解为寻找一组投影方向，使得最佳重构数据X，这里B_new =X X^T，B_new 是数据协方差矩阵，X是数据矩阵，每一列向量是一个样本。

可以看一下子空间白化（矩阵论里面应该有）。