模型评测2026年10月8日基于NVIDIA Dynamo的会话感知型智能体推理优化深入探讨如何利用NVIDIA Dynamo优化智能体工作负载,重点关注会话感知推理、预填充管理及性能扩展方案。阅读全文 →
模型评测2026年10月7日使用 FBTriton 优化推荐系统中的表批处理嵌入深入探讨 FBTriton 内核设计如何加速表批处理嵌入(TBE)的前向和后向传播,为高性能推荐系统提供技术解析。阅读全文 →
模型评测2026年10月3日使用 Helion 构建高性能与可移植的 vLLM 线性后端深入探讨如何利用 PyTorch 的自动调优高层 DSL 语言 Helion 优化 vLLM 的线性层 Backend,在大幅提升大模型推理吞吐量与降低延迟的同时,保持跨硬件的高可移植性。阅读全文 →
模型评测2026年10月2日使用 TLX 优化 Blackwell GPU 上的锯齿状闪存注意力机制深入探讨如何在 NVIDIA Blackwell B200 GPU 上利用 Tile Language Extensions (TLX) 优化锯齿状闪存注意力机制(JFA),为迈向 FlashAttention-4 (FA4) 奠定坚实的技术基础。阅读全文 →
模型评测2026年9月22日利用 PyTorch 和 vLLM 构建持续学习循环的实战指南深度解析Shopify如何通过PyTorch与vLLM构建生产级持续学习循环,实现模型性能提升与成本的大幅优化。阅读全文 →
模型评测2026年9月22日从零构建深度学习框架:TinyTorch 原理解析深入理解深度学习框架的核心机制,通过构建 TinyTorch 掌握张量运算、自动微分及 Transformer 架构的底层逻辑。阅读全文 →
模型评测2026年9月18日基于 NVRx 在 Amazon EKS 上实现具备容错能力的分散式训练深入探讨如何在 Amazon EKS 上将 NVIDIA Resiliency Extension (NVRx) 与 PyTorch FSDP 结合,通过异步检查点与进程内重启机制,实现 99%+ 的训练效率与秒级 GPU 故障恢复。阅读全文 →
模型评测2026年9月17日2026 PyTorch 北美大会:开放研究、开发工具与编译器优化的前沿突破深入剖析 2026年 PyTorch 北美大会核心技术,涵盖 TorchDynamo 图捕获、TorchInductor 代码生成、Triton 跨硬件 DSL 内核、FSDP2分布式训练及 torchao 量化技术。阅读全文 →
模型评测2026年9月17日低精度 FlashAttention-4:面向 Blackwell 架构的端到端块缩放注意力机制深入解析 PyTorch 与 FlashAttention-4 在 NVIDIA Blackwell 架构上的最新突破:通过引入 OCP MXFP8 块缩放微规格格式,前向传播吞吐量达到 2.85 PF/s,反向传播达到 2.0 PF/s。阅读全文 →
模型评测2026年9月14日2026年北美 PyTorch 大会核心技术解读:编译优化、分布式通信与多算子硬件生态深入解析 2026年北美 PyTorch 大会核心技术议题,涵盖 TorchDynamo/Inductor 编译器进化、FSDP2分布式通信、多硬件算子适配及高吞吐 LLM API 架构实践。阅读全文 →