【内推】【实习】猿辅导 AI工程 推理加速

dd

顶一下，现在还在招。主要希望是26届毕业的。 给各位学弟学妹介绍一下相关情况： 【团队】 团队规模非常小，负责猿辅导整个公司语音、CV、NLP模型推理加速的相关工作，可以接触到各种模型。团队成员都是我遇到过的很有技术热情的人，我之前也在大厂和技术创业公司实习过，这边同事的技术和热情是比一些大厂的组要高的。列举一些最近一段时间组里做过的比较有技术深度的事：用C++、CUDA实现一些模型的推理逻辑，一些复杂kernel的开发并做很多优化，FP8推理；基于Triton Server、DALI数据管线的服务上线；MNN、向量化指令端侧推理优化等。 【工作内容】 实习生目前已经有比较明确的工作内容，不用当心干很多杂活。工作内容是对非NLP任务的自回归模型（非标准的LLM）进行vLLM的适配及投机解码（多种MTP（Multi-Token Prediction）算法）适配。该模型目前内部已有的C++、CUDA实现，或是往已有实现中添加MTP支持。工作内容还是很有挑战的，也比较符合现在的市场需求，有利于之后找工作。