CUDA可用，但是推理时还是用的CPU

代码如下
![7ae6bec1569e16699816e084e7d462d](https://github.com/user-attachments/assets/14b008be-74e8-4e6e-bd4c-627865865e4f)
Loading checkpoint shards时会报下面的warning
![image](https://github.com/user-attachments/assets/a3384af7-6939-4a21-90a9-62eb3388f98b)
可用推理，但是似乎用的是cpu
但我的cuda显示gpu是可用的（如下
![image](https://github.com/user-attachments/assets/b7ebba8f-1a21-4fe2-b8da-9fec35be280e)
为什么呀
