问:我现在遇到问题是传过来的数据确实是fp16的,但是configPlugin函数拿到的数据类型确是fp32,这样就导致我不知道选什么kernel了.
答:请参考https://github.com/NVIDIA/trt-samples-for-hackathon-cn/tree/master/plugins 里面有AppPlugin的例子,支持fp16和int8。请尝试supportformat只返回fp16就好
问:我现在遇到问题是传过来的数据确实是fp16的,但是configPlugin函数拿到的数据类型确是fp32,这样就导致我不知道选什么kernel了.
答:请参考https://github.com/NVIDIA/trt-samples-for-hackathon-cn/tree/master/plugins 里面有AppPlugin的例子,支持fp16和int8。请尝试supportformat只返回fp16就好