【求助】【碎碎念】ai院研0 大模型学习

【背景】<br>楼主导师偏羊，有横向，已进组但是还没正式干活，楼主算是跨考，对深度学习啥的基本上就是复试的时候快速入门了一遍，大概知道在干啥，但是原理、代码都没怎么敲过。<br>进了一个项目组了，跟agent相关，学长让我先学点基础。列了一些东西，像大模型架构、微调啥的。<br><br>【求助】<br>我当时“好好好”之后就一直在摆烂了，现在感觉再不学点东西真要完蛋了。。。刚录取时还想着研一上就去实习，现在感觉纯痴人说梦。。。又不大好意思去找学长（感觉让他会很失望。。）<br>想求助下论坛里的学长学姐，我现在应该再看看李宏毅的课程，把深度学习机器学习相关知识再补补，还是找些大模型的公开课看看，想从项目开始的话又该怎么找呢（github上不知道该怎么找合适的。。。）<br>希望学长学姐能指点一下，如果有学长学姐愿意帮助，也可解匿名，可有偿。。。

为啥不学点东西就会完蛋。。。学长不会失望，学长只会在缺人干活的时候手把手教你快速上手，没找你干活你就做自己事呗，实习也好玩也好，而且你本科要是没有沉淀的话研一上应该也找不到实习

对，想着现在也没啥事干，前一个月也玩腻了，想先沉淀一下，想找条相对合理的路。。。<br>【 在 IWhisper#243 的大作中提到: 】<br><font class="f006">: 为啥不学点东西就会完蛋。。。学长不会失望，学长只会在缺人干活的时候手把手教你快速上手，没找你干活你就做自己事呗，实习也好玩也好，而且你本科要是没有沉淀的话研一上应该也找不到实习 </font>

解个匿

我是lz<br>【 在 a986418480 的大作中提到: 】<br><font class="f006">: 解个匿 </font>

自己看论文想办法复现一个训练流程。遇到问题解决问题，整体的框架可以让ai帮你搭起来，训练细节自己注意，如果结果不正常就找问题。

挑一篇有代码的顶会嘛还是啥，有比较经典吗<br>【 在 IWhisper#298 的大作中提到: 】<br><font class="f006">: 自己看论文想办法复现一个训练流程。遇到问题解决问题，整体的框架可以让ai帮你搭起来，训练细节自己注意，如果结果不正常就找问题。 </font>

bd，同问<br>【 在 IWhisper#168 的大作中提到: 】<br><font class="f006">: 挑一篇有代码的顶会嘛还是啥，有比较经典吗 </font>

bd

可以先把transformer学会，包括多头注意力那些复现出来，这是基本功，再知道基于transformer的模型有不同的架构，比如bert、GPT，再去学LLM，先对LLM这块有一个大致整体的感知，比如训练分成哪些阶段？每个训练阶段是干嘛的？都有哪些方法，再到细节方面微调、训练（SFT、RLHF）、应用（RAG、Agent），这里面很多技术，你想上手直接用llama-factory就行，但是里面的训练细节、trick封装得太好，不适合看源码学习，我是去看openrlhf源码学习具体的技术细节，也可以用zread智谱开发的一个解读github项目的ai，去学这些项目，我最近在用，感觉挺好用的