返回信息流如图，想尽可能检测到图像中的出现的拿着商品的手，求指教。
将涉及到的手分类（空手，拿着商品的手，拿着扫描枪的手等等），只想找到拿着商品的手。环境：Tensorflow , Titan1080 ,Linux
如图，这是视频中截取的一帧：
Step1:
已知目前的(Net + SSD)模型（已经测试过resnet ，mobilenet,等网络），发现对于有点模糊的商品检测不到，确实人眼也不是很好的分清楚。
Step2:
鉴于1中网络的局限性，改为对数据进行预处理，包括亮度增强，轮廓提取，效果依然不好，对于很快的扫描行为，还是完全判定不到。
Step3：
首先利用Openpose进行收银员的两个手的提取，因为人的比重很大，所以可以找到两个手，然后提取两个手的周边区域，再用于（Resnet）分类网络，来判断收银员是否真的拿着商品进行扫码。
问题在于，分类效果很差。(原因可能在于图片质量确实不好，另外pose模型太大了点，速度也不太高)
请问，这种判断收银员是否对商品进行扫码检测，有什么建议和思路吗？
多谢
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #31917同步于 2018/10/10
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
请教个图像处理的问题，感谢
xiaqing10
2018/10/10镜像同步11 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
提供一个思路：加视频质量判断，某一帧模糊的时候不进行分析，反正也不用一秒分析25帧，并且1080也做不到一秒分析25帧；PS做演示效果或者比赛还行，不用考虑实用了，路上的坑多着呢~尤其多路实时分析的时候~
很快的扫码应该会产生比较大的光流吧，你可以试着把光流作为一个特征或者一个通道或者进行某些处理后输入神经网络。另外根据我的经验，模糊的物体一般来说会被错分成背景，但是对定位的影响还可以接受，所以也许你可以试试把GT的bounding box放大一点，让它能把手臂也包进去？这样组成一个更加general的pattern，这样即便商品本身的分类评分很低，手臂也能辅助模型进行判断。
其实这是一个伪需求，超市的本质需求是降低损失，根据研究表明顾客自行扫描其实综合成本更低，根据这一研究结论以TESCO为代表的大型连锁超市都采用了客户自行给购买的产品扫码支付；即便解决了收银员每件商品都做了扫码动作，但解决不了扫码失败，一次性拿了几个产品只有一个扫上码等等一些列问题；如果创业或者用这个思路参加英伟达的创业比赛都是不合适的；如果仅仅是科研或者某个比赛的话就无视我的碎碎念吧；
PS：模型不会太大win下一般不会超过700m，跟显存比起来微乎其微，如果你的模型太大可以在网上搜索深度学习如何节约GPU资源等关键词，大原则就那么几个有很多方法可以尝试；
PS2:其实小臂动作比手好检测，其实单纯的分析扫码面板（黑色那个）被遮挡特征更简单，单纯的提出另外几个思路；或者模拟这个场景增加样本量也算一个思路吧；
胳膊好检测所见略同，不过人形分割其实做得好的不多，了解的厂家里自动化所孵化的水滴做的还算不错。每一个思路后面都跟着一堆坑哈哈哈哈哈哈哈~
PS:估计扫码光的特征不会很明显，甚至完全看不到
【 在 hyx0215 的大作中提到: 】
: 很快的扫码应该会产生比较大的光流吧，你可以试着把光流作为一个特征或者一个通道或者进行某些处理后输入神经网络。另外根据我的经验，模糊的物体一般来说会被错分成背景，但是对定位的影响还可以接受，所以也许你可以试试把GT的bounding box放大一点，让它能把手臂也包进去？这样组成一个更加general的pattern，这样即便商品本身的分类评分很低，手臂也能辅助模型进行判断。
其实上的就是 1080, 不过为了简洁点，我用了Tx2做测试。 实际上都能很流畅，实时的
【 在 Sanqi 的大作中提到: 】
: 泰坦1080
感谢，其实这个思路也用过。 最开始就是直接光流跟踪商品，不过稍微有点形变（比手被遮挡了），则光流就跟丢了。所以后面才用到了网络
不过，结合一起我还没试过，可以试试
【 在 hyx0215 的大作中提到: 】
: 很快的扫码应该会产生比较大的光流吧，你可以试着把光流作为一个特征或者一个通道或者进行某些处理后输入神经网络。另外根据我的经验，模糊的物体一般来说会被错分成背景，但是对定位的影响还可以接受，所以也许你可以试试把GT的bounding box放大一点，让它能把手臂也包进去？这样组成一个更加general的pattern，这样即便商品本身的分类评分很低，手臂也能辅助模型进行判断。
其实，无人购物的场景，我也用了这套模型，效果很好。因为自助购物的熟练程度很低，不会出现扫码很快出现模糊的图片，并且单次扫码的时间线很长。
【 在 qingyuan86 的大作中提到: 】
: 其实这是一个伪需求，超市的本质需求是降低损失，根据研究表明顾客自行扫描其实综合成本更低，根据这一研究结论以TESCO为代表的大型连锁超市都采用了客户自行给购买的产品扫码支付；即便解决了收银员每件商品都做了扫码动作，但解决不了扫码失败，一次性拿了几个产品只有一个扫上码等等一些列问题；如果创业或者用这个思路参加英伟达的创业比赛都是不合适的；如果仅仅是科研或者某个比赛的话就无视我的碎碎念吧；
: PS：模型不会太大win下一般不会超过700m，跟显存比起来微乎其微，如果你的模型太大可以在网上搜索深度学习如何节约GPU资源等关键词，大原则就那么几个有很多方法可以尝试；
: PS2:其实小臂动作比手好检测，其实单纯的分析扫码面板（黑色那个）被遮挡特征更简单，单纯的提出另外几个思路；或者模拟这个场景增加样本量也算一个思路吧；