请教tracking的基础问题

对各种特征 不要陷入这一块

feature+boosting足以

目前流行的tracking的框架： 首先当然是背景建模了，基于处理视频数据，我们可以数学的理解为矩阵队列。其比较单幅图像的很明显的优势在于包含大量的信息，同时包含大量的信息冗余（没在北邮白学，哈哈）。 我们这边师兄在用GMM做背景建模，研究和工程方面都取得了不错的成绩。对于一般的场景下基本可以满足要求（其实在较干净的场景，如接到，球场，停车场等可以用更简单的前景剪裁方法）。 然后就是前景的检测和噪声的去除，背景建模得到的前景往往不能完全的去除噪声，可以用一些先验知识来去除，如目标的大小，长宽比，或更复杂的用图像的纹理，梯度等特征（如mean shift，SIFT，Haar等）。然后假如得到了运动目标的前景了（比较干净的），剩下的就是跟踪了。 单目标的跟踪很简单。 多目标的跟踪个人认为有两种可选的方式： 第一种是基于概率估计的，对目标的运动轨迹进行概率的估计，每一帧预测目标下一帧的位置，预测可以基于目标的大小，运动速度，加速度等时间信息。 另一种较为复杂，需要提取目标的特征，然后比较当前帧与上一帧目标们*的特征，得到一个最近似的匹配。 实际的系统中两者结合起来能得到很好的效果。当目标距离较远的时候用概率模型，当目标较近或者有重叠的时候用特征模型。 简单来说就这些了，你如果研究这方面的话欢迎和我讨论。

背景学习大概多长时间呢？ gmm是用来model数据的density，这里数据是什么？单个pixel的feature vector?还是whole frame？ 推荐个初级读物？ 【 在 bebekifis 的大作中提到: 】 : 目前流行的tracking的框架： : 首先当然是背景建模了，基于处理视频数据，我们可以数学的理解为矩阵队列。其比较单幅图像的很明显的优势在于包含大量的信息，同时包含大量的信息冗余（没在北邮白学，哈哈）。 : 我们这边师兄在用GMM做背景建模，研究和工程方面都取得了不错的成绩。对于一般的场景下基本可以满足要求（其实在较干净的场景，如接到，球场，停车场等可以用更简单的前景剪裁方法）。 : ...................

背景学习的时间：GMM模型，在背景建模的时候使用3高斯，更多的高斯也试过，效果不见得好，而且直接增加运算花费，2个高斯极不稳定，需要较长的训练时间。 在3高斯的框架下，20到40帧基本就可以满足要求。至于更新策略，则要根据具体的情况而定了。 数据可以是每个点的像素值。对整幅图像中的每个像素建立一个3高斯模型，当然，也可以根据位置信息做加权更新或者更复杂的处理方式（有人使用运动预测的方式，效果不错）。 初级读物: Chris Stauffer and W.E.L Grimson. Adaptive background mixture models for real-time tracking, CVPR 1999. AHMED ELGAMMAL et al., Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance, 2002. Dar-Shyang Lee, Effective Gaussian Mixture Learning for Video Background Subtraction, PAMI, 2005.

多谢多谢，好像明白了。 就是说，对每个象素提取出比如8个特征；在这个8维的特征空间中，用比如3高斯拟合概率密度；对新来frame的每个象素，使用bayes后验概率分成两类：前景/背景。是这样么？ 是在应付考试，害怕考到，呵呵：） 【 在 bebekifis 的大作中提到: 】 : 背景学习的时间：GMM模型，在背景建模的时候使用3高斯，更多的高斯也试过，效果不见得好，而且直接增加运算花费，2个高斯极不稳定，需要较长的训练时间。 : 在3高斯的框架下，20到40帧基本就可以满足要求。至于更新策略，则要根据具体的情况而定了。 : 数据可以是每个点的像素值。对整幅图像中的每个像素建立一个3高斯模型，当然，也可以根据位置信息做加权更新或者更复杂的处理方式（有人使用运动预测的方式，效果不错）。 : ...................

....什么考试考这个？

恩，每个像素几维特征自己可以试试。 用图像的灰度值一维特征就差不多，多了数据量就需要很大。 特征维数越大，数据量就需要很大，而且一般来说还不止是线性增长，往往是指数级的。

嗯。但是光靠灰度，效果会不会一般？ 【 在 bebekifis 的大作中提到: 】 : 恩，每个像素几维特征自己可以试试。 : 用图像的灰度值一维特征就差不多，多了数据量就需要很大。 : 特征维数越大，数据量就需要很大，而且一般来说还不止是线性增长，往往是指数级的。