返回信息流最近研究需要用nvidia-triton搭建yolov7模型
部署工作已经完毕，但是科研需要调成动态batch进行推理，这个地方一直调整不正确
请问哪位同学有经验吗？ 实验室可提供咨询费，谢谢～
联系微信号：Conqueror187
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #39435同步于 2025/7/21
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
nvidia-triton 推理服务器 关于 dynamic batch的问题
fengzideng
2025/7/21镜像同步5 回复
订阅后，新回复会通过你的通知中心匿名送达。
5 条回复
【 在 paopjian1 的大作中提到: 】
: 推理，动态batch？你图片预处理没到相同大小吗
非常高兴您能回答我的问题，目前是这样的：
已经预处理到相同大小了，现在是这样一个场景。
我在服务器上用nvidia-trtion部署了一个yolov3，要接收来自各个client的请求。
nvidia-triton有一个dynamic batch，假如我设置为4，就是将4个请求合成一个batch进行推理
但是目前这个参数为设置为4后，他不能以batchsize为4进行推理，会卡住，设置为1就没问题，想问一问您
【 在 paopjian1 的大作中提到: 】
: 是不是模型不支持啊
肯定是支持的，现在倒是不卡住了，就是很慢，按道理来讲，batchsize调成4的推理速度应该比1快才对