Skip to content

Mxoder/LLM-from-scratch

Repository files navigation

LLM-from-scratch

一些 LLM 的从零复现笔记,包括一些思考文章。

  • 1. 从头预训练一只超迷你 LLaMA 3——复现 TinyStories
  • 2. 用 PyTorch 从零实现 LoRA
  • 3. 从零实现 generate 方法

知乎链接

  1. 从头预训练一只超迷你 LLaMA 3——复现 TinyStories

  2. 用 PyTorch 从零实现 LoRA

  3. Qwen2.5-Math 技术报告详细解读

  4. Qwen2.5-Coder 技术报告详细解读

  5. 我的 api 调用太慢了!LLM api 的异步调用加速

  6. Qwen3是如何实现混合推理(快慢思考)的?

About

一些 LLM 方面的从零复现笔记

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published