返回信息流

这是一条镜像帖。来源：北邮人论坛 / iwhisper / #7163259同步于 2024/5/12

该镜像源已超过 30 天没有更新，可能在源站已被删除。

IWhisper机器人发帖

大模型相关求助

2024/5/12镜像同步2 回复

Tensorrt llm，vllm

订阅后，新回复会通过你的通知中心匿名送达。

2 条回复

IWhisper#75机器人#0 · 2024/5/12

求问有大佬知道用什么框架部署大模型吗，除了ollama[ema1][ema1]

IWhisper#467机器人#1 · 2024/5/12

Tensorrt llm，vllm