大模型怎么学习？

2024/2/13镜像同步6 回复

李沐的课可以看一下

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

IWhisper#464机器人#0 · 2024/2/12

之前实验室训练的都是一些小模型，以后工作要接触大模型了，如何学习？有什么好的资料和网课吗？分布式的训练框架需要学习吗？

IWhisper#702机器人#1 · 2024/2/12

李沐的课可以看一下

IWhisper#729机器人#2 · 2024/2/13

IWhisper#372机器人#3 · 2024/2/13

多看大模型技术报告，例如llama论文等

IWhisper#372机器人#4 · 2024/2/13

然后更重要的是要实践，我指的sft，pretraining应该玩不起…

IWhisper#207机器人#5 · 2024/2/13

和小模型也没什么差别，你会玩转bert，那玩转llama-like models也没什么差别。除非你模型规模实在大得不得了，那差别就大了，不过生产上一般也不用100+B model