-
Notifications
You must be signed in to change notification settings - Fork 19
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
학습이 원래 이렇게 느린가요? #25
Comments
이 정도 확인이 필요합니다. |
그리고 학습시 total_loss는 터미널을 쭉보다보면 어느순간 total_loss값이 거의 변화가 없는 순간이 옵니다. 해당 수치는 당연하게도 계속 줄어드는것도 아니고 계속 왔다갔다 하는 모습이 나옵니다. 그리고 그 왔다갔다 하는 량을 줄이기위해 lr값이 함께 줄어들고요. 어느순간 lr이 e-7이런 수준까지 내려가는데 이 쯤 되면 다 됐다고 생각하시면 됩니다 |
기존 torch와 torchvision을 지우고 pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116 이걸로 설치해보세요. |
그래픽카드 확인하고 torch 다시 설치해도 gpu 사용량이 0%길래 nvidia smi 쳐서 cuda 버젼을 보니까 11.7로 나옵니다. 근데 이상한게 전 11.6으로 설치했고, 제어판에서도 전부 11.6으로 나와요. 11.7버젼을 찾아 삭제할 방법이 없을까요..? |
nvidia-smi에서 11.7로 나오는건 문제없습니다 사용중인 드라이버가 11.7까지 지원된다는 의미고 11.6버전의 CUDA가 작동가능하다는 의미입니다. 혹시 pip설치 이전에 conda install 명령어로 torch를 설치하셨나요? 이러면 torch2.0이 설치되어서 pip로 설치된 1.x보다 우선권을 가지게 됩니다. 그리고 conda로 설치된 torch는 이상하게 CUDA인식을 못 하더군요.(저만 그럴 수도 있습니다) CUDA가 torch에서 인식되는지 확인하는 방법은 python 이 순서대로 입력해서 True가 나오는지 확인합니다. 만약 False로 나온다면 CUDA인식이 안 된것이기에 처음부터 다시환경을 갖추는 방식으로 차근차근 진행해보는걸 추천합니다. 그리고 이건 현업에서의 일인데 |
으음 그럼 다 문제가 없는 건데, 그래도 5시간에 10000스텝만 가는데 그건 왜 그럴까요..? |
Anaconda 프롬프트 키신뒤에 |
true로 나와여.. |
이쯤되면 그래픽카드가 CUDA연산이 느리게 되도록 막힌(비트코인채굴을 막기위해) 물건인것은 아닐까 조심스럽게 생각해봅니다... |
아하..넵 알겠습니다 감사함다~ |
이번에 AMP세팅하다가 발견한 문제점인데요. |
같은 문제가 있었는데요, 오히려 cuda-11.7 로 업그레이드 했을때 문제 해결됐습니다. Python 3.9.15 $ pip install torch==1.13.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117 $ pip install -r requirements_short.txt |
동일 현상인데
두가지 모두 실행해 보았는데 RTX 3080에서 17시간에 6천회 정도밖에 안나오네요 ㅠㅠ 장치 관리자를 통해 확인해봐도 GPU는 100% 풀로 사용중이라 난감하네요 ㅠ |
@DOCHIS max_sentences가 너무 높아서 발생 한 현상이었습니다 max_sentences를 8로 낮추니 해결되었습니다 |
다른 분들은 몇십시간에 30만 넘게 하신다는 것도 들었고 영상에서도 20시간정도 하셨다고 했는데, 저는 30000스텝정도 가는데 12시간?정도나 걸립니다. 지금이 5일정도 학습시키고있는데 2십만까지밖에 못가네요..
하나 이상한 게 있다면 그래픽카드 사용량을 확인해보니 3%밖에 안나와요. set CUDA_VISIBLE_DEVICES=0 <이거 치고 해도 저럽니다... 아니면 첫 번째 gpu 써서 한다고 하셨는데, 그 첫 번째 gpu가 혹시 내장그래픽으로 인식됬거나 그런 경우가 있을 수 있나요? (cpu는 i5 그래픽카드는 2060 6gb쓰고 있습니다.)
+그리고 전에 total loss가 더 이상 안 줄어들 때 충분히 학습된거라고 하셨는데 어느 정도 값이 얼마나 나와야 안 준다는 건지 무슨 뜻인지 이해가 잘 안 갑니다.
(전 코딩 컴퓨터 진짜 하나도 모릅니다..좀 쉽게 풀어서 설명해주시면 감사하겠습니다ㅠㅠ)
The text was updated successfully, but these errors were encountered: