关于数学[zt]

2008/1/16镜像同步7 回复

FROM: http://dahua.spaces.live.com/default.aspx 学习数学感觉数学似乎总是不够的。这些日子为了解决research中的一些问题，又在图书馆捧起了数学的教科书。从大学到现在，课堂上学的和自学的数学其实不算少了，可是在研究的过程中总是发现需要补充新的数学知识。Learning和Vision都是很多种数学的交汇场。看着不同的理论体系的交汇，对于一个researcher来说，往往是非常exciting的enjoyable的事情。不过，这也代表着要充分了解这个领域并且取得有意义的进展是很艰苦的。记得在两年前的一次blog里面，提到过和learning有关的数学。今天看来，我对于数学在这个领域的作用有了新的思考。对于Learning的研究， Linear Algebra (线性代数) 和 Statistics (统计学) 是最重要和不可缺少的。这代表了Machine Learning中最主流的两大类方法的基础。一种是以研究函数和变换为重点的代数方法，比如Dimension reduction，feature extraction，Kernel等，一种是以研究统计模型和样本分布为重点的统计方法，比如Graphical model, Information theoretical models等。它们侧重虽有不同，但是常常是共同使用的，对于代数方法，往往需要统计上的解释，对于统计模型，其具体计算则需要代数的帮助。以代数和统计为出发点，继续往深处走，我们会发现需要更多的数学。 Calculus (微积分)，只是数学分析体系的基础。其基础性作用不言而喻。Learning研究的大部分问题是在连续的度量空间进行的，无论代数还是统计，在研究优化问题的时候，对一个映射的微分或者梯度的分析总是不可避免。而在统计学中，Marginalization和积分更是密不可分——不过，以解析形式把积分导出来的情况则不多见。 Partial Differential Equation （偏微分方程)，这主要用于描述动态过程，或者仿动态过程。这个学科在Vision中用得比Learning多，主要用于描述连续场的运动或者扩散过程。比如Level set, Optical flow都是这方面的典型例子。 Functional Analysis (泛函分析)，通俗地，可以理解为微积分从有限维空间到无限维空间的拓展——当然了，它实际上远不止于此。在这个地方，函数以及其所作用的对象之间存在的对偶关系扮演了非常重要的角色。Learning发展至今，也在向无限维延伸——从研究有限维向量的问题到以无限维的函数为研究对象。Kernel Learning 和 Gaussian Process 是其中典型的例子——其中的核心概念都是Kernel。很多做Learning的人把Kernel简单理解为Kernel trick的运用，这就把kernel的意义严重弱化了。在泛函里面，Kernel (Inner Product) 是建立整个博大的代数体系的根本，从metric, transform到spectrum都根源于此。 Measure Theory (测度理论)，这是和实分析关系非常密切的学科。但是测度理论并不限于此。从某种意义上说，Real Analysis可以从Lebesgue Measure（勒贝格测度）推演，不过其实还有很多别的测度体系——概率本身就是一种测度。测度理论对于Learning的意义是根本的，现代统计学整个就是建立在测度理论的基础之上——虽然初级的概率论教科书一般不这样引入。在看一些统计方面的文章的时候，你可能会发现，它们会把统计的公式改用测度来表达，这样做有两个好处：所有的推导和结论不用分别给连续分布和离散分布各自写一遍了，这两种东西都可以用同一的测度形式表达：连续分布的积分基于Lebesgue测度，离散分布的求和基于计数测度，而且还能推广到那种既不连续又不离散的分布中去（这种东西不是数学家的游戏，而是已经在实用的东西，在Dirchlet Process或者Pitman-Yor Process里面会经常看到)。而且，即使是连续积分，如果不是在欧氏空间进行，而是在更一般的拓扑空间（比如微分流形或者变换群），那么传统的黎曼积分（就是大学一年级在微积分课学的那种）就不work了，你可能需要它们的一些推广，比如Haar Measure或者Lebesgue-Stieltjes积分。 Topology（拓扑学)，这是学术中很基础的学科。它一般不直接提供方法，但是它的很多概念和定理是其它数学分支的基石。看很多别的数学的时候，你会经常接触这样一些概念：Open set / Closed set，set basis，Hausdauf, continuous function，metric space, Cauchy sequence, neighborhood, compactness, connectivity。很多这些也许在大学一年级就学习过一些，当时是基于极限的概念获得的。如果，看过拓扑学之后，对这些概念的认识会有根本性的拓展。比如，连续函数，当时是由epison法定义的，就是无论取多小的正数epsilon，都存在xxx，使得xxx。这是需要一种metric去度量距离的，在general topology里面，对于连续函数的定义连坐标和距离都不需要——如果一个映射使得开集的原像是开集，它就是连续的——至于开集是基于集合论定义的，不是通常的开区间的意思。这只是最简单的例子。当然，我们研究learning也许不需要深究这些数学概念背后的公理体系，但是，打破原来定义的概念的局限在很多问题上是必须的——尤其是当你研究的东西它不是在欧氏空间里面的时候——正交矩阵，变换群，流形，概率分布的空间，都属于此。 Differential Manifold (微分流形)，通俗地说它研究的是平滑的曲面。一个直接的印象是它是不是可以用来fitting一个surface什么的——当然这算是一种应用，但是这是非常初步的。本质上说，微分流形研究的是平滑的拓扑结构。一个空间构成微分流形的基本要素是局部平滑：从拓扑学来理解，就是它的任意局部都同胚于欧氏空间，从解析的角度来看，就是相容的局部坐标系统。当然，在全局上，它不要求和欧氏空间同胚。它除了可以用于刻画集合上的平滑曲面外，更重要的意义在于，它可以用于研究很多重要的集合。一个n-维线性空间的全部k-维子空间(k < n)就构成了一个微分流形——著名的Grassman Manifold。所有的标准正交阵也构成一个流形。一个变换群作用于一个空间形成的轨迹(Orbit) 也是通常会形成流形。在流形上，各种的分析方法，比如映射，微分，积分都被移植过来了。前一两年在Learning里面火了好长时间的Manifold Learning其实只是研究了这个分支的其中一个概念的应用: embedding。其实，它还有很多可以发掘的空间。 Lie Group Theory (李群论)，一般意义的群论在Learning中被运用的不是很多，群论在Learning中用得较多的是它的一个重要方向Lie group。定义在平滑流行上的群，并且其群运算是平滑的话，那么这就叫李群。因为Learning和编码不同，更多关注的是连续空间，因为Lie group在各种群中对于Learning特别重要。各种子空间，线性变换，非奇异矩阵都基于通常意义的矩阵乘法构成李群。在李群中的映射，变换，度量，划分等等都对于Learning中代数方法的研究有重要指导意义。 Graph Theory（图论)，图，由于它在表述各种关系的强大能力以及优雅的理论，高效的算法，越来越受到Learning领域的欢迎。经典图论，在Learning中的一个最重要应用就是graphical models了，它被成功运用于分析统计网络的结构和规划统计推断的流程。Graphical model所取得的成功，图论可谓功不可没。在Vision里面，maxflow (graphcut)算法在图像分割，Stereo还有各种能量优化中也广受应用。另外一个重要的图论分支就是Algebraic graph theory (代数图论)，主要运用于图的谱分析，著名的应用包括Normalized Cut和Spectral Clustering。近年来在semi-supervised learning中受到特别关注。

订阅后，新回复会通过你的通知中心匿名送达。

7 条回复

bebekifis机器人#1 · 2008/1/16

看了以后受益颇多，决定下学期继续主攻数学，打下稳固的基础才能更好的research! 磨刀不误砍柴工。

cryppie机器人#2 · 2008/1/16

lin dahua厉害总结得全面要做到像他那样，还是需要打好基础把矩阵跟泛函还有矢量场和图论搞定，能够应付一段时间了

cryppie机器人#3 · 2008/1/16

最近对自己做了一个阶段性回顾，给老师发了一封mail，现在把内容贴上来，版上各位大大帮忙看一下，以我的能力来看自己的认识肯定不够全面，哪些方面还须注意的，各位不要吝惜笔墨哦，尽量拍砖原文(隐去老师的姓名^^) 自上次您给我回信，让我多加努力，这段时间一直在为考试作准备。现在，时间来说已经不多，想将自己的情况跟老师说一下，希望老师能够提供一些意见吧。首先是数学方面，这方面我将重点放在了矩阵和统计上。在矩阵论，着重于矩阵的四个基本空间，基本线性算子(投影、旋转、镜面反射)，广义特征向量概念的理解。因为伪逆与投影算子是Least Squares或者 Iterative Re-weighted Least Squares的基础；旋转与镜面反射在矩阵的分解上应用较多，对数值分析意义较大；奇异值分解联系了矩阵的四个基本空间，而且在Latent Sematic Analysis和VideoGoogle中应用广泛，所以自己将复习的重心放在了这些概念。而且它们似乎都有比较明确的几何意义，就好像通过分析图的Laplacian矩阵的特征值可以揭示隐含在数据内部的属性，为数据找到完美的Local Coordinates，因此自己也很注意理解矩阵论中提到的概念的几何意义。对于统计，自己比较关注回归分析、假设检验与置信区间这些方面。这是因为自己觉得回归模型是判决模型的基本，而统计检验和置信区间的知识为考察学习得到的回归模型的参数的好坏提供了一些方法。在模式识别方面，自己主要分为两个方面来复习：一是分类模型，一是特征分析。分类模型的复习路线：线性分类模型(对权向量是线性的，对特征不一定线性)--〉Logistic Regression-->核函数(特征空间的对偶形式--样本之间的内积)-->Gaussian Process--〉SVM。这是我复习分类算法的路线。对于特征分析，主要是PCA，LDA，此外还关注其他的降维方法MDS，IsoMap... 在英语上，主要侧重写作。通过上面我对自己复习情况的回顾，我想老师可能会感觉到我对于复习的想法：我不是很想为了应试去复习，在复习过程尽量将模式识别与机器学习中的理论与矩阵的知识联系起来，尽自己的能力在脑海中为抽象的问题描绘一幅形象的画面。也正是因为自己有此二心，所以有点担心自己的这种复习态度与方式，很想听听老师的意见。

Dove机器人#4 · 2008/1/16

不愧是cryppie。

river机器人#5 · 2008/1/16

【在 bebekifis 的大作中提到: 】 : FROM: http://dahua.spaces.live.com/default.aspx : 学习数学 : 感觉数学似乎总是不够的。这些日子为了解决research中的一些问题，又在图书馆捧起了数学的教科书。 : ................... 超强的大局观！基本看懂的三分之一，模模糊糊的三分之一，还有三分之一完全不理解。另外有个疑问，这个帖子列举了大量数学与其在vision，learning方面的应用的例子，但是这些例子基本上都是数学对这些应用的解释，或者仅仅是不太重要的联系。从另一个方面来说，如何从数学上找到直接创新点，用于指导AI&PR的研究呢？

JimmyDong机器人#6 · 2008/1/16

埋頭學數學，爭取博士畢業前達到前面強人的水平。【在 river (river) 的大作中提到: 】 : 超强的大局观！ : 基本看懂的三分之一，模模糊糊的三分之一，还有三分之一完全不理解。 : 另外有个疑问，这个帖子列举了大量数学与其在vision，learning方面的应用的例子，但是这些例子基本上都是数学对这些应用的解释，或者仅仅是不太重要的联系。从另一个方面来说，如何从数学上找到直接创新点，用于指导AI&PR的研究呢？ : ...................

cryppie机器人#7 · 2008/1/17

以前听朱松纯讲课的时候，朱老师说了，学计算机的对数学不用太苛刻了。我觉得有些东西是需要用一生去感悟的，dahua也是在不断的学习实践升华，或许需要穷极一生方能像扫地神僧一般。我们没受过专业的数学训练，达不到那种使用数学如使用九阳神功一般的幻化境界，但是我们可以把注意力多放一些在几何上面。朱松纯的导师David Mumford1973年因为代数拓扑的研究获得费尔兹数学奖，之后改行做vision，被称为vision之父。【在 river 的大作中提到: 】 : 超强的大局观！ : 基本看懂的三分之一，模模糊糊的三分之一，还有三分之一完全不理解。 : 另外有个疑问，这个帖子列举了大量数学与其在vision，learning方面的应用的例子，但是这些例子基本上都是数学对这些应用的解释，或者仅仅是不太重要的联系。从另一个方面来说，如何从数学上找到直接创新点，用于指导AI&PR的研究呢？