갑작스러운 컴퓨터 재부팅.
계속되는 검은 화면
갑작스러운 초록 화면
여러 오류가 학습중에 일어나서 아래 나와 같은 현상을 찾아봤다
My desktop freezes at random times while training with pytorch
Hi, I have also experienced the same issue and we have exactly the same setup, OS, drivers, GPU etc. One issue I recently find is that, the cpu cooler is not reading the cpu temperature correctly in my case, and it won’t work even when my device is in ve
forums.developer.nvidia.com
나와 비슷하게도, 학습중에 freeze가 되고, 랜덤하게 멈추는데 배치크기에 따라서 걸리는 시간은 비슷하게 멈춘다.
dataloader의 문제인지 알았고, 따라서 제대로 학습 조성을 하지않은 줄 알았는데 오류는 다른 곳에 있었다.
pcie 5.0 를 사용해야하는 기구가 있어서 그것에 대해서 양보를 하고 라이저 케이블로 gpu를 연결해서 사용했는데
이것이 문제였다. 아주 작은 단위 또는 추론용(작은 크기)일때는 문제가 없지만, 라이저 케이블이 대용량 학습에 대해서 사용하지 못함을 확인했다.
gpu 스트레스 테스트를 진행했을때, 4분만 gpu가 터져버렸음에 반해 라이저케이블을 제거후 사용하니 위의 문제들이 다 사라졌다.
학습을 한다면 라이저 케이블을 절때 사용하지 않음을 권장한다.
아래는 나와 비슷한 사례이며, 라이저 케이블에 대한 문제 해결자 이다.
https://www.reddit.com/r/nvidia/comments/137c93i/gpu_instability_with_riser_cable/?tl=ko