返回信息流名称： 机器学习之统计理论 ( 课程计 3 学分 )
主讲： Prof. Lei XU - 徐雷 教授
时间： 2008 年 6 月 30 日 —— 7 月 25 日 期间四个星期
每周一、二、四、五，下午 2:00 —— 5:00
地点： 北京大学理科 2 号楼 2129 教室
欢迎国内外感兴趣的同行、老师及同学参加！ ( 听课免费，食宿自理 )
课程目标：
l 讲授机器学习统计理论
l 说经验教训漫谈做研究
l 聊眼见耳闻杂论写文章
主讲教授简介：
Prof. Lei XU - 徐雷教授 ( 教育部长江学者讲座教授、香港中文大学讲座教授、 IEEE Fellow 、国际模式识别学会 Fellow 、欧洲科学院院士 ). 75 年起当工人，后考入哈工大 77 级获学士学位，随后考入清华大学获硕士学位，并师从已故著名信息科学家常迥院士完成博士论文。 87 年入北京大学在已故著名数学家程民德院士和已故信息科学家石青云院士的指导下做博士后， 88 年成晋升为北大破格副教授之一。 89 年至 93 年，先后在欧洲和北美之四所大学（包括哈佛和麻省理工）作博士后、访问科学家、高级研究员，于 93 年返香港任高级讲师、 96 年任教授、 02 年任讲座教授。二十余年来在模式识别、神经网络、统计学习等多个方向从事研究。发表学术论文被引用总量，据 SCI-Expanded （ SCI ）统计逾 1800 次，据 Google Scholar (GS) 统计逾 3000 次。前十篇论文的被引用总量逾 1000 次（ SCI ）或逾 2000 次 (GS) 。最大单篇被引用量达 334 次 (SCI) 或 788 次 (GS) ，其余 9 篇的单篇被引用量都分布在 45-112 次 (SCI) 或 85-203 次 (GS) 之间。应邀做国际学术大会主题演讲 / 大会报告 / 特邀报告 50 余次。曾任或现任八个国际学术期刊编委、曾任国际神经网络学会理事、亚太地区神经网络学会主席、 IEEE 计算智能学会 Fellow 遴选会评委。获多项国际国内学术奖励 , 并继日本著名学者 Amari 教授（ 04 年）和 Fukushima 教授（ 05 年）之后，获 06 年亚太地区神经网络学会杰出成就奖。
联系信息：
· 徐雷 教授在北京大学的合作教授：
吴玺宏 教授 (010-62759989, wxh@cis.pku.edu.cn)
· 课程联系人：
罗定生 副教授 (010-62752502, dsluo@cis.pku.edu.cn )
注意： 选课学员要求报名注册，需要学分的同学请注明。报名注册请填写注册表（从课程网页下载），并email给罗老师。对北京大学需学分的同学， 课程结束考核合格后学分直接计入，不需办理其它选课手续；对外校的需学分的同学，除课程结束考核合格外，还需要自己到北京大学研究生院教务办理相关手续。
课程网址：http://162.105.71.130:88/ml
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #2506同步于 2008/6/30
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
[zz]课程：机器学习之统计理论
cryppie
2008/6/30镜像同步12 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
课程大纲如下
课程大纲：
一、面向知识发现和问题求解的統計學習
1) 两种基本智能能力 2) 三个基本要素 3) 两个主要挑战 4) 一个统一理论体系
二、‘形'之检测：形状识别
1) 从 Hough 变换到随机 Hough 变换 2) 形状类：直线、椭圆、参数族、任意模板
3) 一般框架和四个基本要素 4) 变种和推广后的若干方法
三、‘变'之建模：（ I ）单分布样本簇
1) 非参数分布、参数分布、基结构集
• 非参数分布： Parzen 法 • 参数分布：高斯分布等 • 基结构集：子空间结构等
2) 正交子空间与 Hebbian 学习
• PCA 、 Oja rule, LMSER 等 • MCA , Dual 子空间 , TLS 信号处理 • 鲁棒自适应学习
3) 线性子空间
• 因子分析 • 最大似然与 PCA • Adaptive 算法
4) 独立线性子空间
• ICA 算法与一比特信息定理 • 非线性 PCA 和非线性 LMSER
• 非高斯独立因子分析 NFA • P-ICA vs M-ICA
四、‘变'之建模：（ II ）多分布样本簇
1) 多点结构
• 最小平方聚类和 k 均值法 • 高斯混合分布、最大似然、 EM 算法 • 对手惩罚之竞争学习（ RPCL ）
2) 多子空间结构
• 局部 PCA 、局部子空间和混合因子分析 • EM 算法与 RPCL 学习 • 局部 ICA 与多 NFA 混合
3) 多形状结构
• 抗干扰之 多目标识别 • Adaptive 学习 vs RHT 型检测 • A5 框架
4) 自组织 MAP
• Kohonen Map • Kohonen Map 变种 • 其他推广
5) 非线性降维映射
五、‘动'之跟踪：时序分析
1) 状态空间模型和 KALMAN 算法 2) 独立状态空间分析 3) 多道独立 HMM
六、采众所长：专家组合与证据融合
1) 多分类器组合
• 三级 组合 框架 • Bayes 投票 , Bagging, Stacking • Dempster-Shafter theory
2) 多专家混合
• Jordan 和 Hinton 多专家混合 • EM 算法与收敛性的研究 • 改进多 专家混合 模型
3) RBF 网络
• 归一化 RBF 网络与 两阶段 学习法 • 最大似然学习与 EM 算法
• 性能与基数目关系：理论分析与 RPCL 学习
4) 贝叶斯网学习简介
七、‘容'之适度：有限样本统计学习
1) 有限样本的挑战
• 最大似然 与 最小表述误差 • 大数定理 • 难估计泛试误差
2) 模型正则化
• Tikhonov 型 • 最大 Margin 与 SVM • Heuristics • 正则强度难定
3) 模型选择
• 统计学习与理论选择准则： AIC ， CAIC ， BIC/MDL/MML 等
• Cross Validation • 两阶段执行：计算量巨大
八、贝叶斯阴阳和谐学习理论
1) 贝叶斯阴阳系统
• 许多学习模型的统一框架
• 最小 Kullback 散度：最大似然、最大熵、最小互信息
2) 最大和谐学习理论：有限样本统计学习新理论
• 模型选择寓于学习 • 模型正则化和模型选择：优点互补
• 正则强度由学习确定 • 新的模型选择准则
3) 与已有主要学习方法之异同
• 最小描述长法（ MDL ） • Variational Bayes 和 Helmholtz 机
• 信息几何理论 • AIC • RPCL 学习
4) 若干应用和比较
• 高斯混合分布与类别数的自动确定 • 局部子空间及其子空间维数和个数的自动确定
• 多专家混合 与 专家数目确定 • RBF 网络 与基数目确定