学习 LLM 这种前沿内容的一个好的方式就是多看看大牛们以及大厂是在干什么, 通过他们的 Talk，博客，甚至是推特

大牛的博客

• https://lilianweng.github.io/
  • Lilian Weng 的特点是深入浅出，把公式推导和历史都娓娓道来，风格是可读性很强的综述
• http://karpathy.github.io/
  • 2024年开始的一些文章https://karpathy.bearblog.dev/blog/
  • 2017年的一些文章 https://karpathy.medium.com/
  • https://www.youtube.com/andrejkarpathy
  • Karpathy 的特点是从简单问题中构建良好的直觉，并且很多hands on的exercise和建议，帮助你理解当下
  • zero to hero系列可以做深度学习很好的入门，强烈建议手动真的敲一遍
• https://www.jasonwei.net/blog
  • https://www.jasonwei.net/thoughts
    • 近期文章：https://www.jasonwei.net/blog/asymmetry-of-verification-and-verifiers-law
  • Jason Wei 有很多基于数据和实践的「大道至简」的精彩观察
  • 其次对于在 ai 时代下我们应该做什么有很多很好的建议，知行合一了
• ****https://www.youtube.com/watch?v=orDKvo8h71o
  • Hyung Won Chung 对于模型效率进化有非常独到的见解，强调计算驱动的scaling law大趋势
• Ilya 貌似不怎么写文章，给的talk都是特别highlevel的。但是网传的 paper list 好像挺靠谱的
  • https://www.youtube.com/watch?v=1yvBqasHLZs
  • https://github.com/dzyim/ilya-sutskever-recommended-reading
• Noam Brown 对于 Reasoning 比较有见解，他是从 alpha go 那个流派过来的
  • https://www.youtube.com/watch?v=eaAonE58sLU
• 苏剑林的博客 https://kexue.fm/
  • 特点是对于很多从天上掉下来的 LLM/Transformer 底层构造，知其然并且知其所以然

这是一条 work in progress 的分割线

被 meta 挖走的那群人，他们的代表作是什么？

Ruoming Pang：从 AXLearn 看是一个真的很懂 ML 系统的大佬

大厂的博客/文章 (WIP)

• OpenAI：GPT系列文章
• DeepSeek 的各种论文 V3, MoE, 和开源的项目
• Anthropic：可解释性的一些文章
• 谷歌 / Deepmind
  • Transformer，BERT
  • https://arxiv.org/abs/2203.15556
  • https://www.yitay.net/blog/model-architecture-blogpost-encoders-prefixlm-denoising