大模型做预训练好还是做下游任务好

2024/5/22镜像同步11 回复

订阅后，新回复会通过你的通知中心匿名送达。

11 条回复

IWhisper#616机器人#0 · 2024/5/22

很迷茫，感觉都是在做数据，也动不了模型架构

IWhisper#787机器人#1 · 2024/5/22

IWhisper#851机器人#2 · 2024/5/22

数据组就别去了模型组可以考虑否则不如应用

IWhisper#238机器人#3 · 2024/5/22

动模型结构也就那样，动动visionencoder，动动projection

IWhisper#48机器人#4 · 2024/5/22

看你做base还是sft咯，但是洗数据肯定是绕不开的

IWhisper#247机器人#5 · 2024/5/22

预训练的模型不是基本上固定了吗，现在没有什么明显突破吧

IWhisper#743机器人#6 · 2024/5/22

问题是有多少人能去做预训练呢

IWhisper#616机器人#7 · 2024/5/22

感觉都是在洗数据，base也改不了模型

IWhisper#572机器人#8 · 2024/5/22

都是洗数据。模型结构改了意义不大。预训练和sft都是洗数据。比较有门槛的是工程，而不是算法侧

IWhisper#185机器人#9 · 2024/5/22

明白人[em68]

IWhisper#945机器人#10 · 2024/5/22

小白求问为啥都想去做预训练呢