本文目的是从 Prompt 到绘制到输出全链路数据结构、Tensor的生命周期,讲清楚“用户输入一句 prompt → KVCache 生成 → A 节点 → KVCache 传输 → B 节点恢复 → decode → detokenizer → 输出” ,在这条链路中涉及的核心数据结构、Tensor、转换/恢复点、生命周期与进程边界,尽可能详细地画出来。
阅读更多
本文目的是从 Prompt 到绘制到输出全链路数据结构、Tensor的生命周期,讲清楚“用户输入一句 prompt → KVCache 生成 → A 节点 → KVCache 传输 → B 节点恢复 → decode → detokenizer → 输出” ,在这条链路中涉及的核心数据结构、Tensor、转换/恢复点、生命周期与进程边界,尽可能详细地画出来。
Update your browser to view this website correctly.&npsb;Update my browser now