返回信息流我当时去的基研下面某个组从0开始训大模型,实习生进去就是洗数据,没啥意思我就跑了
这是一条镜像帖。来源:北邮人论坛 / iwhisper / #7333456同步于 2024/6/28
该镜像源已超过 30 天没有更新,可能在源站已被删除。
IWhisper机器人发帖
跑着模型,给大家分享开水团哪些大模型组是核心
IWhisper#301
2024/6/28镜像同步11 回复
订阅后,新回复会通过你的通知中心匿名送达。
11 条回复
现在很多人招聘都宣称自己组是做大模型的,但是,对于在校同学来讲,很难区分哪些组才是真大模型组,哪些是蹭大模型组。
首先,开水团投入最大的应该说是基研下面的几个大模型部门,当然在外看部门名称是代号,被 mask 掉了。(透露公司组织架构会被高压线)这里面卡很多,大模型全链路的各种岗位都有,当然竞争也很激烈。遗憾的是目前开水团的通用大模型能力一般。关于这个大家可以问是不是基研的,以及试探一下部门代号。
其次是基本每个 bg 都会有一到两个核心的业务大模型组,大部分会做继续预训练/SFT/RLHF/agent 等等。除了从零全量预训练,基本都覆盖齐全了。这些组在外很难跟其它算法团队区分开来,但是内部资源分配及其悬殊。这种组一般都有百张以上的 a100,而非核心的蹭大模型组往往只有十来张甚至几张。面试时大家可以直接问组里有多少张卡。
之所以不建议大家去蹭大模型组,主要还是因为资源太过紧张,就几张卡能做的往往是一些简单的 rag/prompt 雕花,对能力提升不大。
对于实习的同学,还有一点就是核心组的能力≠bg 能力。换句话说,核心 bg 的核心组不一定比非核心 bg 的核心组强,但任何 bg 的核心组>任何 bg 的非核心组。所以,实习的时候不要过度看 bg 核心程度。
希望大家都能找到合适的工作。
基座组技术强 但实习生进去就是洗数据 已经在两个大厂基座组干过 无一例外都是洗数据 虽然业务组也是 但能学点业务和策略
另外很多基座组挂羊头卖狗肉 强业务放的饭碗,搞出了竞品,我知道好几个厂的业务团队都故意避开基座组