SGlang-KVCache 生命周期与PD分离传输分析

本文目的是从 Prompt 到绘制到输出全链路数据结构、Tensor的生命周期,讲清楚“用户输入一句 prompt → KVCache 生成 → A 节点 → KVCache 传输 → B 节点恢复 → decode → detokenizer → 输出” ,在这条链路中涉及的核心数据结构、Tensor、转换/恢复点、生命周期与进程边界,尽可能详细地画出来。

阅读更多
Your browser is out-of-date!

Update your browser to view this website correctly.&npsb;Update my browser now

×