cudnn偶发崩溃问题

问题描述:
使用cudnn函数搭建神经网络,在几千或者几万次运行后偶发崩溃。捕捉到崩溃在cudnn函数内部,请问是什么问题导致的崩溃以及如何避免cudnn函数的偶发崩溃。
运行环境:centos7.6 cuda11.4 Cudnn8.2.4 显卡2080Ti或3090
1)崩溃在cudnnGetConvlutionBackwardDataAlgorithom_V7内


2)崩溃在cudnnGetConvlutionForwardWorkspaceSize()内