返回信息流分布式计算和机器学习相结合的方向怎么样？会不会有mapreduce 一样的前景？
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #38912同步于 2023/4/16
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
分布式计算和机器学习相结合的方向怎么样？会不会有mapreduce
hitch
2023/4/16镜像同步33 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
感觉确实可以加速。谢谢回复。我想问的是关于大模型的分布式计算，比如容灾，可扩展性，并行计算方法法或者网络优化方向。
【 在 Lenny 的大作中提到: 】
: 有种方法叫编码计算，可以尝试通过编码实现矩阵相乘，或许可以有益于机器学习的一些运算吧
指深度学习的话感觉没戏，现在大模型出来这么多，基本很完善了
【 在 hitch 的大作中提到: 】
: 分布式计算和机器学习相结合的方向怎么样？会不会有mapreduce 一样的前景？
这块的工作已经很多了，比如推荐广告里的大规模稀疏训练（主要就是embedding存储），李沐大神14年OSDI的Parameter Server，还有就是现在比较火的LLM的训练，主要就是如何高效训练transformer类型的Dense大模型，比如最近很火的微软的deepspeed