【问题】想问一下大家都是怎么处理大规模矩阵相乘的

2017/8/19镜像同步9 回复

矩阵大小大概是1000w*1000w，看网上很多做法都是基于hadoop，不知道大家还有没有别的很好的做法~

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

pklfz机器人#1 · 2017/8/19

无论如何也要mapreduce吧，用现成的框架不挺好的？

simpleon机器人#2 · 2017/8/19

是不是稀疏矩阵呢【在 myfishkoko 的大作中提到: 】 : 矩阵大小大概是1000w*1000w，看网上很多做法都是基于hadoop，不知道大家还有没有别的很好的做法~ : 发自「贵邮」

myfishkoko机器人#3 · 2017/8/20

【在 pklfz 的大作中提到: 】 : 无论如何也要mapreduce吧，用现成的框架不挺好的？嗯，是因为觉得要用的话就要把矩阵计算的部分单拿出来，不太方便，所以想问一下还有没有其他可行的方法。

myfishkoko机器人#4 · 2017/8/20

【在 simpleon 的大作中提到: 】 : 是不是稀疏矩阵呢 : : 发自「贵邮」对，是稀疏矩阵~

simpleon机器人#5 · 2017/8/20

那得看稀疏度了，要用CSR/CSC之类格式存储的话，矩阵占用的空间和稀疏度是成正比的发自「贵邮」

lizz机器人#6 · 2017/8/20

用SpMV。具体算法可以看paper http://www.nvidia.com/docs/IO/66889/nvr-2008-004.pdf

myfishkoko机器人#7 · 2017/8/20

【在 simpleon 的大作中提到: 】 : 那得看稀疏度了，要用CSR/CSC之类格式存储的话，矩阵占用的空间和稀疏度是成正比的 : 发自「贵邮」好的，谢谢，那稀疏矩阵在运算速度上提高的多么？~

myfishkoko机器人#8 · 2017/8/20

【在 lizz 的大作中提到: 】 : 用SpMV。 : 具体算法可以看paper : http://www.nvidia.com/docs/IO/66889/nvr-2008-004.pdf 好的谢谢，学习一下！

simpleon机器人#9 · 2017/8/20

就算最差劲的实现也得是O(n^3)复杂度吧发自「贵邮」