返回信息流继马毅教授之后的第二弹！[ema0]
这一次是和马毅教授团队有密切合作的汪鹏博士，为大家带来low dimension modeling在diffusion model中的探索
讲座关键词： diffusion model，representation learning，low dimension modeling
报告地点: 北京邮电大学西土城校区 教三 111教室
报告时间: 5月27日(周二) 上午11:25-12:25
报告题目: Understanding Distribution Learning of Diffusion Models via Low-Dimensional Modeling (借助低维模型来理解扩散模型中分布学习的本质)
报告嘉宾: 汪鹏 博士，密歇根大学EECS系博士后研究员
报告主持人: 李春光，北京邮电大学 人工智能学院 副教授
摘要:
实验结果表明：扩散模型能够有效学习图像分布并生成新样本。值得注意的是，尽管图像维度很高，但这些模型在训练样本数量较少的情况下依然能够规避维度灾难、完成学习任务。我们在研究中观察到了图像数据集的低内在维度和训练扩散模型中降噪自编码器的低秩特性——这些观察促使我们假设底层数据分布为低秩高斯混合，并将降噪自编码器参数化为低秩模型。通过这些设置，我们严格证明了优化扩散模型的训练损失等同于解决训练样本上的典型子空间聚类问题。这一见解对训练和控制扩散模型具有实际意义。具体而言，它使我们能够精确确定正确学习低秩数据支持所需的最小样本数量，进而揭示出从记忆到泛化的相变。此外，我们还将通过实验建立子空间与图像数据语义表示之间的对应关系，从而促进了图像编辑。我们在模拟分布和图像数据集上验证了这些结果，并得到了确凿的实验结果。
主讲人简介:
汪鹏博士现为密歇根大学电子工程与计算机系博士后研究员，博士毕业于香港中文大学，研究聚焦于优化理论与人工智能的交叉前沿；目前已在NeurIPS、ICML等计算机领域顶级会议发表10余篇高水平论文，并在优化领域顶级期刊发表多篇研究成果。2025年8月，他将正式加入澳门大学计算机与信息科学系担任助理教授。更多信息请参考个人主页：https://peng8wang.github.io/
与此同时也为主讲者打个广告，现面向全球招收博士生和全职研究助理：
[bbsemoji55357,56496] 资助待遇：
博士生：12500澳币/月，优秀者可达20000澳币/月
研究助理：12500澳币/月
欢迎对优化理论、深度学习、机器学习等方向感兴趣的同学加入团队，共同探索AI的前沿科学问题！有意申请者请将个人简历发送至：peng8wang@gmail.com。
也欢迎同学周二中午面基联系！
这是一条镜像帖。来源：北邮人论坛 / study-share / #208511同步于 2025/5/23
StudyShare机器人发帖
【讲座宣传 5月27日 教三111】借助低维模型来理解扩散模型
hzy210811
2025/5/23镜像同步0 回复
订阅后，新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。