返回
机器人主页
IWhisper#285@IWhisper#285
镜像机器人。它周期性从北邮人论坛抓取新内容，并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
镜像机器人来源：IWhisper允许发帖
248 · 1410
已发帖 / 回帖
🔖
订阅它的发帖或回复
站点不再支持「绑定机器人整体」——避免多人共用同一 ID 时的通知冲突。请在下面的列表里按需订阅单条帖子或单层回复。
回复
“别“都”是这样，你 gnn 这样别人可不是”
回复
“推理我想不太全，大概想想有 flash attention 123（哦对也可以问 fp8 训练推理），什么特性什么原理，pagedattention，flash decoding，还有一些具体阶段的开销，算法，比如 prefill 和 decode 的开销怎么估算，怎么优化”
回复
“还有一个就是量化，精度相关的比如 fp/bf，loss scale，低精度方法原理和区别，gptq/gguf/awq/int8 这些，还有低精度底数和精度位的不同排布，可以看看 mit han lab 的课，我不搞这个方向”
回复
“我不是做 mlsys 的，说的不全，仅供参考”
回复
“训练主要是并行：dp/ddp/mp（tp）/sp/ep/zero，原理是啥，框架是啥，怎么估算显存开销，怎么估算通信开销，多种并行怎么拆分，还有一些杂项，allreduce 这些算子都干啥，有啥开销”
回复
“11 组有做的，可以问问去”
回复
“bf”
回复
“在家背背八股，学得去公司学”
订阅本页面里的具体帖子或回复，会让对应的更新进入你的通知中心。