Gpu on Jeanphilo Bloghttps://jeanphilogong.github.io/jeanblog/zh/tags/gpu/Recent content in Gpu on Jeanphilo BlogHugo -- 0.168.0zh-cnWed, 26 Aug 2026 00:00:00 +0800Speculative Decoding 为什么能加速：从并行验证到 GPU Memory-Boundhttps://jeanphilogong.github.io/jeanblog/zh/ai/llm/speculative-decoding-gpu-memory-bound/Wed, 26 Aug 2026 00:00:00 +0800https://jeanphilogong.github.io/jeanblog/zh/ai/llm/speculative-decoding-gpu-memory-bound/从自回归生成的串行依赖出发，解释 speculative decoding 如何用一次 Target forward 并行验证多个 Draft token，以及 acceptance rate、batch 和 KV Cache 如何决定实际收益。FlashAttention 的 MQA/GQA：共享 KV 的等价、收益与实现要点（含可运行验证）https://jeanphilogong.github.io/jeanblog/zh/ai/attention/flash-attention-mqa-gqa/Sun, 25 Jan 2026 12:51:15 +0800https://jeanphilogong.github.io/jeanblog/zh/ai/attention/flash-attention-mqa-gqa/解释 FlashAttention 如何处理 MQA/GQA：共享 KV、按组计算与内存复用策略，并附可运行示例验证等价性。FlashAttention 为什么能 one-pass：在线 softmax（m/l）与 Tiling 的核心思想https://jeanphilogong.github.io/jeanblog/zh/ai/attention/flash-attention-one-pass-and-tiling/Sun, 25 Jan 2026 12:51:14 +0800https://jeanphilogong.github.io/jeanblog/zh/ai/attention/flash-attention-one-pass-and-tiling/解释 FlashAttention 的 one-pass 计算原理与 tiling 策略：在线 softmax（m,l）更新、流式累积输出、不落地 $QK^\top$ 与概率矩阵，并给出可运行的块级注意力验证与访存算账。Softmax 工程实现与 GPU 访存优化：在线更新、融合与带宽算账（含可运行验证）https://jeanphilogong.github.io/jeanblog/zh/ai/attention/softmax-gpu-memory-io-optimization/Sun, 25 Jan 2026 12:51:13 +0800https://jeanphilogong.github.io/jeanblog/zh/ai/attention/softmax-gpu-memory-io-optimization/拆解 softmax 标准计算的访存问题，并给出在线 softmax 与融合实现的工程优化思路，包含可运行示例与带宽算账。