ai infra求问

lz是Java出身现在实习在做大模型推理的任务调度这种 会用Python完成一些链路上的功能，大致就是分片分batch拼prompt，然后使用推理框架设置一些参数（比如是否开启pd分离这种），这种是不是不能算ai infra<br>想问问一般ai infra的岗位是使用这些推理框架（比如sglang，vllm）然后根据公司情况去进行部署调优么，还是要说要能够参与框架的开发之中<br>还想问一下大家对这个方向的前景看法，以及如果有的话想求个学习路线，感激不尽<img src="/img/ubb/ema/11.gif" alt="ema11" style="display:inline;border-style:none"><img src="/img/ubb/ema/11.gif" alt="ema11" style="display:inline;border-style:none">

后者，前者只是用

开发框架捏 学习的话可以看 nanovllm 或者直接啃别的源码 调试调试就好了<br>【 在 IWhisper#241 的大作中提到: 】<br><font class="f006">: lz是Java出身现在实习在做大模型推理的任务调度这种 会用Python完成一些链路上的功能，大致就是分片分batch拼prompt，然后使用推理框架设置一些参数（比如是否开启pd分离这种），这种是不是不能算ai infra </font><br><font class="f006">: 想问问一般ai infra的岗位是使用这些推理框架（比如sglang，vllm）然后根据公司情况去进行部署调优么，还是要说要能够参与框架的开发之中 </font><br><font class="f006">: 还想问一下大家对这个方向的前景看法，以及如果有的话想求个学习路线，感激不尽<img src="/img/ubb/ema/11.gif" alt="ema11" style="display:inline;border-style:none"><img src="/img/ubb/ema/11.gif" alt="ema11" style="display:inline;border-style:none"> </font><br><font class="f006">: ............ </font>

好的感谢<br>【 在 IWhisper#591 的大作中提到: 】<br><font class="f006">: 开发框架捏 学习的话可以看 nanovllm 或者直接啃别的源码 调试调试就好了 </font>

那如果是开发框架会不会岗位比较少啊 毕竟有很多现成的框架可有 是不是只有字节阿里这种级别才会去自己搞框架开发<br>【 在 IWhisper#705 的大作中提到: 】<br><font class="f006">: 后者，前者只是用 </font>

实际上这个岗位就是相对少一些吧<br>【 在 IWhisper#241 的大作中提到: 】<br><font class="f006">: 那如果是开发框架会不会岗位比较少啊 毕竟有很多现成的框架可有 是不是只有字节阿里这种级别才会去自己搞框架开发 </font><br>