L20 gpu 显存有剩余但是无法继续分配显存

使用nvidia-smi 查看L20 GPU显存用量:28568MiB / 46068MiB,但是使用pytorch进行简单矩阵运算时有显存不足的报错:

Traceback (most recent call last):
  File "./test_pytorch.sh", line 7, in <module>
    matrix1 = torch.tensor([[1.0, 2.0], [3.0, 4.0]], device=device)
RuntimeError: CUDA error: out of memory

这是什么原因,应该如何排查问题