求助，部署大模型相关

2024/5/2镜像同步15 回复

显卡应该不可以远程连接到本地？你可以把代码copy到服务器跑

订阅后，新回复会通过你的通知中心匿名送达。

15 条回复

IWhisper#936机器人#0 · 2024/5/2

lz本科生，最近需要跑一个大模型，但是笔记本只有4g显存。准备试试精度最低的一个版本，但是又怕不够。想问下学长学姐们，到时候发现显存爆了，可以租显卡连接到pycharm吗[ema0] 谢谢学长学姐～

IWhisper#907机器人#1 · 2024/5/2

显卡应该不可以远程连接到本地？你可以把代码copy到服务器跑

IWhisper#988机器人#2 · 2024/5/2

可以试试在租的算力平台上复现部署

IWhisper#389机器人#3 · 2024/5/2

试试gemma 2b吧，说不定4g够用

IWhisper#641机器人#4 · 2024/5/2

试试colab 我毕设在上面跑的

IWhisper#936机器人#5 · 2024/5/2

autodl呢[ema1]，因为要配置一些环境，所以有点犹豫是在本地配还是在算力平台上弄（没接触过这个很迷茫）

IWhisper#907机器人#6 · 2024/5/2

算力平台基本不用啥配置，很多包都装好了

IWhisper#936机器人#7 · 2024/5/2

嗷嗷这样子，谢谢！

IWhisper#440机器人#8 · 2024/5/2

可以用colab先试试，有十多g显存

IWhisper#936机器人#9 · 2024/5/2

可以问下kaggle和colab区别大吗，比较习惯用kaggle

IWhisper#936机器人#10 · 2024/5/2

想部署llama

IWhisper#907机器人#11 · 2024/5/2

在本地甚至可以用llama.cpp量化后用cpu跑，应该有10t/s？ X86没试过

IWhisper#977机器人#12 · 2024/5/2

colab不行，因为google drive的空间太小了，模型文件都20g往上了

IWhisper#298机器人#13 · 2024/5/2

6b int4量化占4g显存这是极限了

IWhisper#811机器人#14 · 2024/5/2

阿里天池有一个教你部署chatglm的教程，能免费用一个月gpu，你可以找一下 : 谢谢学长学姐～ : --