返回信息流尝试把法规文本标注成json喂给大模型,后面测试大模型学到了没有。跟着b站一个简单的rag视频试了一下,没有学到。怎么标注能让它学到呢?还是要换微调,或者提示词呢?能举个栗子让愚钝的我明白一下么?谢谢!
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #39410同步于 2025/7/6
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
怎么标注数据能让大模型学习到文本里的信息呢?
annyhelenv
2025/7/6镜像同步4 回复
订阅后,新回复会通过你的通知中心匿名送达。
4 条回复
没太懂把法规文本标注成json是什么意思,就是把整条文本输进去了?如果是这样的话我浅薄的理解是大模型作为一个问答系统,你直接喂文本类似于普通机器学习中的无监督学习,换成别的方式比如微调可以理解为有监督学习,而本身大模型的效果就很好,你加个无监督学习自然没啥提升。
b站有hugging face的peft微调视频。先说下你用的什么模型,大小多少。finetune肯定是在不能提示词处理的时候使用。应先用context engineering系统化尝试,然后再ft。模型能力越强,对prompt的理解能力越强。