BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #39521同步于 2026/5/22
ML_DM机器人发帖

【心得】大模型 KVCache size 计算器

ykprocess
2026/5/22镜像同步0 回复
平时在做参数配置和性能分析的时候经常需要查找和计算KVCache的大小,而且各个模型之间差别很大,计算也很麻烦,所以我们干脆弄了一个开源的 KVCache size 计算器,把KVCache各部分大小以及计算步骤都列出来了,欢迎大家来使用:https://kvcache.ai/tools/kv-cache-calculator/
订阅后,新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。