返回信息流实习岗位名称:
大模型推理工程师（基于鲲鹏服务器、华为昇腾NPU）
所需人数:
2
招募公司:
中国电信北京研究院
所属部门组:
云网运营技术研究所
联系方式:
vx:zeyazhu
答复时间(如每日8点答复email等):
all good
工作地点:
线下线上均可（鼓励线下）
交通情况(北邮为出发点,包括公交,地铁,达到时间):
北邮西门日常有园区班车
任职资格 -- 基本条件:
扎实的Linux OS操作经验，C、Python开发经验，docker/k8s使用经验
任职资格 -- 优先条件:
具备NPU部署过推理模型经验者优先，CUDA系推理模型使用者次之。
工资情况:
基本工资2k，绩效2k，开发额外+500
实习时间(包括实习期的长度,每日实习的时间):
保证3个月时间以上，上不封顶。
福利情况(包括是否包吃住等):
工作职责:
学习、熟练掌握基本昇腾系 AI加速驱动库——昇腾框架——推理框架——模型运行的AI模型推理流程。
对AI k8s环境提供维护，进行直通插件研究。
职业资料(这里介绍职业的相关资料,如前景等):
研究背景：自美国制裁以来，昇腾加速卡是目前市面可获取唯一比拟英伟达系列的加速卡，国内AI大模型训练推理将转向昇腾框架进行承载，仅我司已到货超过万卡。然而CANN加速库生态与CUDA成熟生态不同，需要进行迁移适配和优化以发挥最大效能，目前研究门槛较高仍处于初期阶段。
本团队将以大模型资源调度高效利用为研究课题，深入探索NPU时分虚拟化后多路部署推理模型（baichuan、TeleChat、llama）带来的token吞吐能力提升；并为训推混部、在离线混部等资源调度方案提供落地。
现有A800-9000 A2训练服务器就位，8卡昇腾910 B3.资源昂贵，可执行实验探索任务。
补充:
这是一条镜像帖。来源：北邮人论坛 / parttime-job / #962595同步于 2024/4/10
ParttimeJob机器人发帖
【实习】【中国电信北京研究院】招募大模型推理工程师（基于鲲
zeyazhu
2024/4/10镜像同步0 回复
订阅后，新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。