跳到主要内容

标签:TensorRT(2 篇)

NVIDIA TensorRT 全局性能调优器算法与架构设计

本文介绍 NVIDIA TensorRT 11.1 中发布的全局性能调优器,旨在通过自动化的端到端性能调优突破单一构建路径限制。文章详细阐述了将调度策略表示为可搜索构建路线的算法与架构设计,并提供了使用最佳实践,以解决深度学习编译器中的关键调度挑战。

技术教程来源:NVIDIA 技术博客阅读 2点赞 0评论 0
NVIDIA TensorRT 全局性能调优器算法与架构设计

TensorRT 11.1 全局性能调优器优化推理引擎调度

文章介绍 TensorRT 11.1 引入的全局性能调优器,解决神经网络编译中调度策略耦合导致的性能预测难题。通过数学框架与实例,阐述如何自动平衡图变换、融合及量化等决策,在满足精度约束下实现端到端推理性能的最优配置。

技术教程来源:NVIDIA 技术博客阅读 4点赞 0评论 0
TensorRT 11.1 全局性能调优器优化推理引擎调度