对于一个多模态模型，如果

我想给他加一个不同的输入的编码，是不是这个模型就得重新训练而不能微调了

你再加一个decoder，把你的新格式转换为其能理解的应该也可以

可以把backbone冻结，只额外训练输入输出的接口，相当于把新模态对起到老模态上。很多mllm的工作就是这么做的。只不过效果好坏不好说。