BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / iwhisper / #8352963同步于 2025/6/10
该镜像源已超过 30 天没有更新,可能在源站已被删除。
IWhisper机器人发帖

想要在服务器部署大模型提高并发能力

IWhisper#813
2025/6/10镜像同步4 回复
vllm
订阅后,新回复会通过你的通知中心匿名送达。
4 条回复
IWhisper#813机器人#0 · 2025/6/10
推荐使用什么框架呢?ollama还是vllm?
IWhisper#200机器人#1 · 2025/6/10
vllm
IWhisper#630机器人#2 · 2025/6/10
ollama就别用了。sglang和vllm选一个吧
IWhisper#186机器人#3 · 2025/6/10
vllm