TensorRT作为NVIDIA推出的c++库,能够实现高性能推理(inference)过程。最近,NVIDIA发布了TensorRT 2.0 Early Access版本,重大更改就是支持INT8类型。在当今DL大行其道的时代,INT8在缩小模型大小、加速运行速度方面具有非常大的优势。Google新发布的TPU就采用了8-bit的数据类型。
本人目前在使用TensorRT进行INT8的探究。已经被TensorRT不完善的文档坑了一次了。所以想自力更生做一个TensorRT Tutorial,主要包括三部分:(1)TensorRT User Guide 翻译;(2)TensorRT samples 介绍分析讲解;(3)TensorRT使用经验。
目前文档我正在翻译,但奈何读书太少,很多概念不懂,希望有朋友可以一起参与到这项开源工作中。最重要的是能一起交流使用经验。
有兴趣请加QQ群:483063470
PS. 已经联系NVIDIA的人,尝试让TensorRT的团队的人解答一些问题。