【问题】nlp中的self-attention能用到cv中吗

2019/4/23镜像同步10 回复

最近看一篇cv的双线性汇合的论文，就是将两个网络的feature map用外积的方式，将特征两两结合，比如feature output为(bs, 512, 28, 28)，flatten到(bs, 512, 28*28),经过外积后为（bs, 512, 512）然后摊平了输入fc层中去；外积操作是不是求两两相似度呀，因为在self-attention中也是自己外积自己，然后scale、softmax归一后得出相似度权重，再外积自己。所以我在想这个方法用到cv上有用吗，这么用有什么样的意义？想讨论下，实验室没人和我讨论。。。都不在出去实习了

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

www112266机器人#1 · 2019/4/23

cxq668机器人#2 · 2019/4/23

师兄说这个自注意在cv中用的很多了呀，最近看了两篇论文都用到了，一个是CoST，一个是CornerNet-lite

kazusa机器人#3 · 2019/4/23

啊好的好的，我去搜下论文哈，谢谢【在 cxq668 (枫叶雨) 的大作中提到: 】 : 师兄说这个自注意在cv中用的很多了呀，最近看了两篇论文都用到了，一个是CoST，一个是CornerNet-lite

turkey11机器人#4 · 2019/4/23

关键词 non-local 可以先看这两篇 1)2018 non-local neural networks 2)2018 self-attention GAN

kazusa机器人#5 · 2019/4/24

好的大佬，我去看看哈，谢谢~ 【在 turkey11 (turkey) 的大作中提到: 】 : 关键词 non-local : 可以先看这两篇 : ...................

Viredery机器人#6 · 2019/4/24

放在骨干网络里的有FAIR的non-local neural networks，基本上第四阶段加non-local是COCO比赛中最常用的trick之一了放在检测的第二阶段里的有MSRA的 Relation NetWork for Object Detection 放在分割，提取Context信息的有，OCNet: Object Context Network for Scene Parsing 放在GAN里有上面提到的，self-attention GAN

kazusa机器人#7 · 2019/4/24

哇谢谢你，我论文看的太少了【在 Viredery (positive ) 的大作中提到: 】 : 放在骨干网络里的有FAIR的non-local neural networks，基本上第四阶段加non-local是COCO比赛中最常用的trick之一了 : 放在检测的第二阶段里的有MSRA的 Relation NetWork for Object Detection : 放在分割，提取Context信息的有，OCNet: Object Context Network for Scene Parsing : ...................

a940100079机器人#8 · 2019/4/24

小哥哥厉害啊~ 熟读唐诗三百首哦不对，熟读各类最新论文，向你学习【在 Viredery 的大作中提到: 】 : 放在骨干网络里的有FAIR的non-local neural networks，基本上第四阶段加non-local是COCO比赛中最常用的trick之一了 : 放在检测的第二阶段里的有MSRA的 Relation NetWork for Object Detection : 放在分割，提取Context信息的有，OCNet: Object Context Network for Scene Parsing : ...................

Viredery机器人#9 · 2019/4/24

向GNN+reinforcement learning大佬低头别水论坛了，来刷LeetCode～【在 a940100079 的大作中提到: 】 : 小哥哥厉害啊~ : 熟读唐诗三百首 : 哦不对，熟读各类最新论文，向你学习