问:请问我量化时候设置了这一卷积层的精度为FLOAT,而且设置了严格类型约束,为什么这一层的输出结果设不设都差不多呢 计算方式((a-b)/a ).mean 设置精度前 得分 1.158。 设置后1.149 ,这一卷积之前的层量化输出得分 0.0043,是不是跟这一层的输入数据是一个稀疏矩阵有关系呢
答复:你可以用nsight system profile一下看看设置和不设置FLOAT,这一层有什么差别,是否用了Tensor Core
问:请问我量化时候设置了这一卷积层的精度为FLOAT,而且设置了严格类型约束,为什么这一层的输出结果设不设都差不多呢 计算方式((a-b)/a ).mean 设置精度前 得分 1.158。 设置后1.149 ,这一卷积之前的层量化输出得分 0.0043,是不是跟这一层的输入数据是一个稀疏矩阵有关系呢
答复:你可以用nsight system profile一下看看设置和不设置FLOAT,这一层有什么差别,是否用了Tensor Core