Skip to content

About

Hello MLSys: A simulator-driven, hands-on tutorial for LLM inference system design — predict with models, validate and calibrate on AMD GPUs.

Resources

Contributing

Stars

5 stars

Watchers

0 watching

Forks

Repository files navigation

Hello MLSys:连接设备,搭建平台,让每一份 AI 算力更高效

连接设备,搭建平台,让每一份 AI 算力更高效 🚀

单机部署 · 服务评测 · 单机优化 · 多机服务 · 进阶协同

English 简体中文

在线阅读 | 全书目录 | hello-rocm AI 入门实践 | hello-gpu GPU 计算优化

AMD University Program      AMD ROCm

Caution

⚠️ Alpha 内测版本警告:此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提 Issue 反馈问题或建议。

  🎓 和新加坡国立大学(NUS)的同学一起学 MLSys! 本项目由 NUS 的同学参与共建,也会和更多 NUS 同学一起边学边做。欢迎你加入我们,在 AMD 设备上从一台机器的模型服务,走到多人共享的 LLM 服务平台。

  模型能跑起来之后,下一步往往是把它变成大家都能用的服务:一台机器能撑住多少并发?首 Token 延迟和生成速度能否满足应用?精度与量化、批处理、KV Cache 和框架配置该怎么选?实验室里的几台 AMD 设备,又该怎样连成一个多人共享、稳定可用的 LLM 服务?

  然而,能把模型跑起来,并不等于能把服务做好。这些问题牵涉模型、硬件、框架配置、负载与服务目标之间的取舍:只靠反复试错,既慢又贵;只看框架文档,又说不清某个配置为什么有效、换一台设备是否依然成立。

  hello-mlsys 正是为这条路径而生。本教程基于 AMD 硬件,以 vLLM、llama.cpp 等开源推理框架为实践载体(vLLM 在 Linux 上走通主线,llama.cpp 做对照实验并覆盖 Ryzen AI MAX+ 395 等端侧设备),带你从单机部署走到多机 LLM 服务:通过性能评测、精度与量化选择、框架调优和资源分配,搭建自己的高效模型服务平台。全书重点回答一个问题:

给定设备、任务和服务目标,怎样选择模型精度、推理框架与资源配置,让整体服务更高效?

  为了让每个选择都有依据,本教程坚持先预测、再实测:动手调参之前,先用模拟器 mlsys-simulator 估算性能、显存与容量边界,再挑选少量有信息价值的配置上 AMD 真机验证,解释偏差、校准模型,最后做出配置决策。

  本教程不是推理框架的使用手册,而是希望帮助读者建立 LLM 服务系统的工程能力:能部署、会评测、懂优化、可扩展。任何人都可以提出 issue 或是提交 PR,共同构建维护这个项目。

AMD Hello 系列

  从 AI 入门与应用实践,到 GPU 计算优化,再到 LLM 服务平台构建,为行业应用、科研实践与人才培养提供共同基础。三个项目可以独立学习,也能通过同一个模型串联实践:在 hello-rocm 中训练、微调和使用模型,在 hello-gpu 中理解并优化计算,在 hello-mlsys 中将模型部署为高效的共享服务。

项目 标语 核心定位
hello-rocm 每个 AI 小白,从零开始,动手实践的第一站。 基于 AMD 平台的 AI 与 Agentic AI 入门实践手册
hello-gpu 看懂 GPU,亲手优化每一次计算。 从自己训练的小模型数据类型、GEMM 优化出发,学习 GPU 编程与 Agent 辅助优化
hello-mlsys(本项目) 连接设备,搭建平台,让每一份 AI 算力更高效。 以 vLLM 等开源推理框架为案例,学习 LLM 服务部署、性能优化与多机服务构建

  环境安装、AI 入门与模型微调请参考 hello-rocm,GPU 编程与算子优化请参考 hello-gpu,本教程不重复这两部分内容。

  学习建议:章节顺序就是推荐的学习顺序。建议先读第 0 章 协议与纸面演练,统一 token、GB/GiB、延迟等测量口径;第 1、2 章建立 Roofline 与 Profile 的性能分析和校准方法;第 3–8 章依次学习显存、精度与量化、通信、并行、服务评测与推理框架取舍;最后在第 2 篇的综合实战中,把这些方法用于端侧、单机与集群设计。手边暂时没有 AMD 显卡,第 1 章的 Roofline 预测与第 3 章的显存账本都可以纯 CPU 完成。

项目意义

  什么是 MLSys?

MLSys(Machine Learning Systems)研究如何把机器学习模型高效、可靠、经济地运行在真实硬件与真实负载上。对 LLM 来说,它关心的不只是单个请求跑多快,而是一套服务在给定设备与服务目标下,能稳定交付多少有效工作。

  模型越来越大,推理越来越贵,“跑得动”之后紧接着就是“撑得住、划得来、大家都能用”。精度与量化、批处理、KV Cache、框架配置、服务副本与请求分配,每一个决定都会牵动延迟、吞吐、内存与成本。然而,大多数学习资料要么停留在“某个框架怎么启动”,要么停留在论文公式:前者告诉你怎么跑,却不告诉你为什么这样配;后者给出模型,却不告诉你它离真机有多远。

  本项目覆盖 AMD 的多类硬件:Radeon RX 9070 XT、RX 7900 XTX 等桌面显卡价格亲民,学生和小型实验室也能完成真机实验;Ryzen AI MAX+ 395 等端侧设备把大容量统一内存带到了个人电脑上,适合端侧部署与资源受限场景(适配中);W7900D 48 GB 多卡计划用于多卡与集群实验。服务评测方法、显存账本、通信模型与排队论在任何平台上都同样成立,换硬件只需换参数表。

  围绕这条主线,本教程坚持三个原则:

原则 含义 你会怎么练
以服务为目标 终点是一个能用的 LLM 服务,而不是一次推理 从单机 API 服务做到多人共享的服务平台
以评测为依据 每一项优化都要有统一口径的实测数据 固定模型与任务,测输入输出长度、并发、延迟、吞吐与内存
先预测再实测 用模拟器缩小搜索范围,用真机裁决 预测先留痕,只测信息量最大的少数配置,解释误差并校准

  本教程聚焦 LLM 推理服务;AI 入门、训练与微调请见 hello-rocm,GPU 编程与算子优化请见 hello-gpu。

  我们希望让每一位学习者都能连接手边的设备、搭建自己的服务平台,让每一份 AI 算力都用得更高效。

项目受众

  本项目适合以下学习者:

  • 已经能在本地跑通模型,希望把它部署成稳定服务、供应用或团队调用的开发者;
  • 实验室或团队里有几台 AMD 设备,想搭建多人共享 LLM 服务平台的同学与工程师;
  • 想进入 MLSys / AI Infra / 推理优化方向,希望掌握服务评测、性能优化与多机部署方法的学习者;
  • 需要为推理服务做容量规划、量化选型或框架选型,却缺少实测依据的开发者;
  • 希望了解 AMD GPU / ROCm 生态下 LLM 服务系统的学习者。

  你不需要有算子开发经验,但最好具备 Python、PyTorch、Linux 基础与英文文档阅读能力;模型使用与微调的基础可以先在 hello-rocm 中补齐。

项目规划及进展

章节与实验覆盖

✅ 表示该章正文已包含对应类型的结果(模拟器预测或真机实测),🚧 表示规划中或适配中。表中只统计已完成的实验;第 4、5 章另含 RX 7900 XTX 实测。

篇 / 章 核心实验 / 主题 模拟器 RX 9070 XT W7900D Ryzen AI MAX+ 395 状态
Part 0 入门 定位、硬件图谱、统一测量协议、纸面手算 🚧
Ch 1 使用模拟器估算时间、Roofline 与瓶颈 ✅ ✅ 🚧 🚧
Ch 2 第一次跑通 Profile,并使用实际样例校准 ✅ ✅ 🚧 🚧 🚧
Ch 3 显存占用估算:模型权重与 KV Cache ✅ ✅ 🚧 🚧 🚧
Ch 4 精度、量化方法与误差预算 ✅ ✅ 🚧 🚧 🚧
Ch 5 通信代价模型与 Scale-in / Scale-up ✅ 🚧 🚧 🚧
Ch 6 模型并行策略与显存 / 算力拆解 ✅ ✅(行为验证) 🚧 🚧 🚧
Ch 7 服务、排队与 SLA,负载生成与压测 ✅ ✅ 🚧 🚧 🚧
Ch 8 推理框架的系统取舍、Profile 方式与性能分析 🚧 🚧 🚧 🚧 🚧
Ch 9.1 与 AI 一起实战:端侧部署助手 🚧 🚧 🚧 🚧 🚧
Ch 9.2 与 AI 一起实战:单机服务满足 SLA 🚧 🚧 🚧 🚧 🚧
Ch 9.3 与 AI 一起实战:多卡长上下文、多 Subagent 请求处理 🚧 🚧 🚧
Part 3 选修与案例库:优先选修实验与扩展案例卡 🚧 🚧 🚧 🚧 🚧
附录 硬件参数、模型卡、术语表、参考资源、社区共建、常见失败模式与排查清单 🚧

项目结构

hello-mlsys/
├── docs/                      # VitePress 教程站点源文件
│   ├── part0-intro/           # 第 0 篇:入门
│   ├── part1-modeling/        # 第 1 篇:建模与校准
│   ├── part2-ai-design/       # 第 2 篇:与 AI 一起设计
│   ├── part3-electives/       # 第 3 篇:选修与案例库
│   ├── appendix/              # 附录 A–F
│   ├── curriculum/            # 全书目录(由大纲生成)
│   └── .vitepress/            # 站点配置与全书大纲(outline.mjs)
├── code/                      # 各章实验代码、测量记录与图表脚本
├── notebooks/                 # Notebook 动手学习
└── scripts/                   # 环境配置、构建与检查脚本

目录

章节顺序就是推荐的学习顺序。全书内容覆盖「单机部署、服务评测、单机优化、多机服务、进阶协同」五个模块,其中「单机部署」与「多机服务」正在编写,完成后插入相应位置。vLLM 走通主线,llama.cpp 做对照与端侧;涉及 Radeon 多卡张量并行的结论(第 5、6 章)以本书实测为准。

章节名 简介 所属模块 状态
第 0 篇:入门
第 0 章 协议与纸面演练 教程定位、硬件图谱、统一测量协议、模拟器工具链与能力边界 性能分析基础 🚧
第 1 篇:建模与校准
第 1 章 模拟器估算、Roofline 与瓶颈 · 代码 Roofline、算术强度、Compute-bound / Memory-bound 判定、计算时间量级估算 性能分析基础 🚧
第 2 章 第一次真机 Profile 与性能校准 · 代码 真机准入检查、最小 Profile 跑通、误差归因、校准集与留出验证 性能分析基础 🚧
第 3 章 显存占用估算:模型权重与 KV Cache · 代码 权重显存、KV Cache、激活与碎片开销、最大可服务上下文与并发 单机优化 🚧
第 4 章 精度、量化方法与误差预算 · 代码 数值格式、精度 / 延迟 / 显存三维权衡、误差预算分配 单机优化 🚧
第 5 章 通信代价模型与 Scale-in / Scale-up · 代码 节点内与节点间互联、集合通信原语、α–β 代价模型 进阶协同 🚧
第 6 章 模型并行策略与显存 / 算力拆解 · 代码 DP / FSDP、TP、PP、切分收益被通信吃掉的判定条件 进阶协同 🚧
第 7 章 服务、排队与 SLA · 代码 TTFT、TPOT / ITL、分位数延迟、并发与吞吐、排队拐点、负载生成与压测 服务评测 🚧
第 8 章 推理框架的系统取舍、Profile 与性能分析 框架级取舍、框架级 Profile、配置空间预测与失败模式 单机优化 🚧
第 2 篇:与 AI 一起设计
第 9.1 章 端侧部署助手 资源受限场景下的模型、精度、上下文与 KV 配置选型 单机优化 🚧
第 9.2 章 单机服务满足 SLA 单卡容量规划:显存上界与排队上界、实测拐点与留出验证 单机优化 🚧
第 9.3 章 负载启发的推理集群设计 冻结的 deep-research 轨迹上以总墙钟最短为目标:32B/7B 两档模型协作与多种并行策略,先模拟筛选配置,再在 W7900D 48 G 多卡集群实测 进阶协同 🚧
第 3 篇:选修与案例库
选修与案例库 优先选修实验与扩展案例卡 选修 🚧
附录
附录 A 硬件参数 待补充 —— 🚧
附录 B 模型卡 待补充 —— 🚧
附录 C 术语表 待补充 —— 🚧
附录 D 参考资源 待补充 —— 🚧
附录 E 社区共建 待补充 —— 🚧
附录 F 常见失败模式与排查清单 待补充 —— 🚧

贡献者名单

核心贡献者

注:欢迎更多贡献者加入!

其他

  • 如果有任何想法可以联系我们,也欢迎大家多多提出 issue
  • 特别感谢以下为教程做出贡献的同学!
  • 感谢 AMD University Program 对本项目的支持!

参与贡献

  我们欢迎所有形式的贡献!无论是:

  • 完善或新增教程章节
  • 修复错误与 Bug
  • 在其他 AMD 设备上复跑实验、补充实测与校准数据
  • 分享你在 AMD 设备上部署与优化 LLM 服务的实践经验
  • 提出建议与想法

  参与前请先阅读 贡献指南 CONTRIBUTING.md,其中说明了内容放置位置、章节与实验记录规范、本地预览方式与 PR 流程。

  • 如果你发现了一些问题,可以提 Issue 进行反馈;
  • 如果你想参与贡献本项目,可以提 Pull Request,我们会尽快 review。

LICENSE

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。


让我们一起连接设备、搭建平台,让每一份 AI 算力更高效! 💪

Made with ❤️ by the hello-mlsys community

About

Hello MLSys: A simulator-driven, hands-on tutorial for LLM inference system design — predict with models, validate and calibrate on AMD GPUs.

Resources

Contributing

Stars

5 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages