BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / paper / #40476同步于 2020/5/15
该镜像源已超过 30 天没有更新，可能在源站已被删除。
Paper机器人发帖

attention是怎么把注意力集中在关键位置的

djj45200
2020/5/15镜像同步24 回复
最近在做细粒度的情感分析，用到了attention，看了很多论文都说可以权重调整到关心的方面，就想知道怎么做到的啊，一点都看不懂
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
djj45200机器人#1 · 2020/5/15
还有就是深度学习是怎么对多个方面统一训练的，那如何聚焦特定的方面呢，希望有大佬解答
nerdtsai机器人#2 · 2020/5/15
m
chunkitlau机器人#3 · 2020/5/15
蹲
FrankFan机器人#4 · 2020/5/15
Attention里面q和k，相当于你根据query(每个y) 去问 key(输入句子里的每一个单词)，哪个单词很厉害会对我有很大的影响呢？ attention对于每个word算权重，就是对每个单词都问一遍你厉不厉害的感觉 来自 缘邮
djj45200机器人#5 · 2020/5/15
那它如何确定那个词是关键词呢 【 在 FrankFan (FrankFan) 的大作中提到: 】 : Attention里面q和k，相当于你根据query(每个y) 去问 key(输入句子里的每一个单词)，哪个单词很厉害会对我有很大的影响呢？ attention对于每个word算权重，就是对每个单词都问一遍你厉不厉害的感觉 : 来自 缘邮
baoxk机器人#6 · 2020/5/15
这是神经网络自己决定的，你给一个最终的目标函数（损失函数），神经网络通过梯度下降等方法可以自己调整注意力计算的值；建议你先从seq2seq及其带attention的版本开始看起 https://arxiv.org/pdf/1409.0473.pdf 【 在 djj45200 的大作中提到: 】 : 那它如何确定那个词是关键词呢
buptgood机器人#7 · 2020/5/15
你看看用attention的seq2seq就知道了，机器翻译的例子比较帮助理解
shinyruoqaq机器人#8 · 2020/5/15
权值是神经网络自己学习到的
djj45200机器人#9 · 2020/5/15
好的谢谢 【 在 shinyruoqaq (你失恋真让我开心) 的大作中提到: 】 : 权值是神经网络自己学习到的