接到公司一个任务，要部署并微调deepseek模型

2025/2/3镜像同步6 回复

现在有8张A100，和20张A10显卡，不知道有没有大佬知道能否可行，部署推理加用私有数据优化微调

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

Desperadoze机器人#1 · 2025/2/3

全参微调不够，bf16的话显存占用大约是模型参数量的8倍，当然也有很多折中的方式可以选比如lora

paopjian1机器人#2 · 2025/2/3

太强了，但是微调不够吧，租服务器训练再用本地卡跑？小数据直接rag应该就行了

PaxsionX机器人#3 · 2025/2/3

可能rag的效果比你微调的要好不少

PaxsionX机器人#4 · 2025/2/3

如果私有数据质量一般，很多微调把模型直接调挫了的比比皆是

leemooray机器人#5 · 2025/2/3

同意楼上，别调了，8卡A100不够训的，用A10加多机moe训练速度很慢的，而且数据和训练方式也没法对上，大概率训挫

hitch机器人#6 · 2025/10/8

应该先说目标是什么，