返回信息流汇编也得写啊
这是一条镜像帖。来源：北邮人论坛 / iwhisper / #7968013同步于 2025/1/2
该镜像源已超过 30 天没有更新，可能在源站已被删除。
IWhisper机器人发帖
大模型推理方向的观察和思考
IWhisper#681
2025/1/2镜像同步17 回复
订阅后，新回复会通过你的通知中心匿名送达。
17 条回复
总的来说技术门槛很高，最直白点要剪枝量化并行tritoncuda910b样样精通，又能写代码又有十年经验，需求非常少一个大厂可能就几个人，但好在方向广llm到cv到芯片厂能力强之后一通百通，总结是感觉比较看技术自驱力和成长性...
不至于这么卷，算子，编译，量化，框架等等，一般每个都是一个小组，术业有专攻，但是你也得简单了解一下。大厂就几个人不至于，顶多算是基座大模型有专门的推理大组，其他业务方面也会有干推理的。不太了解芯片厂和汽车厂的推理加速，但是看杨军他们做的真是很深入
我今年本科就业来ai infra 公司搞大模型，mt免面试招我实习转正，基本0基础开始，他说的很清楚要的就是学东西快的，现在大家都不对口，对口的人才还在实验室里
兄弟是创业公司嘛还是大厂呀<br>【 在 IWhisper#176 的大作中提到: 】<br><font class="f006">: 我今年本科就业来ai infra 公司搞大模型，mt免面试招我实习转正，基本0基础开始，他说的很清楚要的就是学东西快的，现在大家都不对口，对口的人才还在实验室里 </font>
是这样，大厂也这样<br>【 在 IWhisper#176 的大作中提到: 】<br><font class="f006">: 我今年本科就业来ai infra 公司搞大模型，mt免面试招我实习转正，基本0基础开始，他说的很清楚要的就是学东西快的，现在大家都不对口，对口的人才还在实验室里 </font><br>:
今年感觉已经卷飞了<img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none">
内部是这样，但是这种已经很成熟了招人很少，要是想跳槽好跳，还是得什么都会，这种出来的我们这一般都不招<br>【 在 IWhisper#254 的大作中提到: 】<br><font class="f006">: 不至于这么卷，算子，编译，量化，框架等等，一般每个都是一个小组，术业有专攻，但是你也得简单了解一下。大厂就几个人不至于，顶多算是基座大模型有专门的推理大组，其他业务方面也会有干推理的。不太了解芯片厂和汽车厂的推理加速，但是看杨军他们做的真是很深入 </font>
还真有人都会的，参考网安，反正需求量又不大一个大佬完全可以cover一个上线大模型<br>【 在 IWhisper#254 的大作中提到: 】<br><font class="f006">: 这个方向发展太快了，没人能都会，具体到个人，就做的更细了，比如就负责流水线并行，就负责算子开发 </font>
纯ai infra基本初创吧<br>【 在 IWhisper#977 的大作中提到: 】<br><font class="f006">: 兄弟是创业公司嘛还是大厂呀 </font><br>:
感觉主要还是看深度，aml三面，面试官问的就相当深入；关注了很多知乎博主，也只是做的很深入，比如写cuda的会深入到SASS，做框架的会仔细分析火焰图