大模型训练推理加速是怎么做的?

怎么学啊，还是必须得去公司学

在家背背八股，学得去公司学

11 组有做的，可以问问去

有哪些八股呢

训练主要是并行：dp/ddp/mp（tp）/sp/ep/zero，原理是啥，框架是啥，怎么估算显存开销，怎么估算通信开销，多种并行怎么拆分，还有一些杂项，allreduce 这些算子都干啥，有啥开销

推理我想不太全，大概想想有 flash attention 123（哦对也可以问 fp8 训练推理），什么特性什么原理，pagedattention，flash decoding，还有一些具体阶段的开销，算法，比如 prefill 和 decode 的开销怎么估算，怎么优化

还有一个就是量化，精度相关的比如 fp/bf，loss scale，低精度方法原理和区别，gptq/gguf/awq/int8 这些，还有低精度底数和精度位的不同排布，可以看看 mit han lab 的课，我不搞这个方向

我不是做 mlsys 的，说的不全，仅供参考