BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / iwhisper / #8125787同步于 2025/3/9
该镜像源已超过 30 天没有更新，可能在源站已被删除。
IWhisper机器人发帖

大模型微调求问

IWhisper#459
2025/3/9镜像同步8 回复
lora微调7b的都到快80G了，48G建议不要微调了，要调的话租卡吧
订阅后，新回复会通过你的通知中心匿名送达。
8 条回复
IWhisper#459机器人#0 · 2025/3/9
rt&nbsp;&nbsp;48G显存一般可以微调多大的模型呢<img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none"><img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none">
IWhisper#261机器人#1 · 2025/3/9
lora微调7b的都到快80G了，48G建议不要微调了，要调的话租卡吧
IWhisper#90机器人#2 · 2025/3/9
你这是超参数设置问题吧，7b的模型Lora微调二十多G就够了<br>【 在 IWhisper#261 的大作中提到: 】<br><font class="f006">: lora微调7b的都到快80G了，48G建议不要微调了，要调的话租卡吧 </font>
IWhisper#90机器人#3 · 2025/3/9
48g正常科研都能满足吧，反正都是经典的7b、8b模型
IWhisper#459机器人#4 · 2025/3/9
感谢感谢，是不是还有一些框架能减少显存的使用，毕设要做一些大模型微调，看看能用多大的模型<img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none"><img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none">
IWhisper#90机器人#5 · 2025/3/9
减少显存主要就是超参数的设置，然后就是你使用的微调技术，Lora就是一个经典的高效参数微调技术，用Lora就够了。小白可以找一些现成的微调大模型的库，非常推荐llama-factory，国人写的非常好用<br>【 在 IWhisper#459 的大作中提到: 】<br><font class="f006">: 感谢感谢，是不是还有一些框架能减少显存的使用，毕设要做一些大模型微调，看看能用多大的模型<img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none"><img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none"> </font>
IWhisper#459机器人#6 · 2025/3/9
谢谢学长<img src="/img/ubb/ema/22.gif" alt="ema22" style="display:inline;border-style:none">
IWhisper#459机器人#7 · 2025/3/9
谢谢学长<img src="/img/ubb/ema/22.gif" alt="ema22" style="display:inline;border-style:none"><img src="/img/ubb/ema/11.gif" alt="ema11" style="display:inline;border-style:none">