A.I./PyTorch14 PyTorch 문서) PyTorch Recipes - Warmstarting model using parameters from a different model in PyTorch 다른 모델의 매개변수를 사용해, 모델을 초기화하기원글 : Warmstarting model using parameters from a different model in PyTorch전이학습(transfer learning)을 하거나 새롭게 복잡한 모델을 학습할 때, 모델을 처음부터 학습하는 대신(from scratch)기존 모델의 일부 매개변수를 가져오거나,전체 모델을 구성하는 부분 모델을 불러와 사용하는 것은 흔한 일이다.이미 훈련된 매개변수를 활용하는 일은 (비록 매개변수의 일부분만을 사용하게 되더라도)훈련과정을 (완전 처음부터(coldstart)가 아닌) 기존의 훈련과정 위에서(warmstart) 시작할 수 있게 해주며처음부터 학습할 때보다 훨씬 빠르게 모델이 수렴하는 것을 기대할 수 있다.Intr.. 2024. 10. 11. PyTorch 문서) PyTorch Recipes - Saving and loading multiple models in one file using PyTorch 여러 개의 모델을 하나의 파일로 저장해서 활용하기원글 : Saving and Loading multiple models in one file using PyTorch다수의 모델을 하나의 파일로 저장하거나 불러오는 일은 이전에 학습된 모델을 재사용할 때 유용하다.Introduction적대적 생성 신경망(GAN), 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델이나 앙상블모델(ensemble of models)처럼 여러 개의 torch.nn.Modules로 구성된 모델을 저장할 때는,구성 모델 각각의 state_dict와 대응되는 옵티마이저의 state_dict 들을 딕셔너리에 모두 저장해야 한다.훈련을 재개하는데 도움을 줄 수 있는 다른 정보가 있다면, 단순히 딕셔너리에 추가하여서 손쉽게 활.. 2024. 10. 10. PyTorch 문서) PyTorch Recipes - Saving and loading a general checkpoint in PyTorch 체크 포인트의 저장과 불러오기원글 : Saving and loading a general checkpoint in PyTorch모델 훈련 과정에서 특정 시점의 상태를 저장하는 것을 체크포인트(checkpoint)라고 한다.저장된 체크포인트를 불러와서 추론에 사용할 수 있고, 또 저장된 시점에 이어서 훈련을 계속할 수도 있다.체크포인트를 저장할 때는 모델의 레이어들이 가진 학습 가능한 파라미터가 저장된 state_dict 뿐만 아니라옵티마이저의 state_dict도 함께 저장하는 것이 중요하다.옵티마이저의 state_dict에는 모델이 학습되는 과정에서 갱신되는 매개변수, 버퍼 등이 포함된다.이외에 (체크포인트가 저장된 시점인) 훈련이 중단된 에포크, 가장 마지막 훈련 손실값 등을 저장할 필요가 있을 수 .. 2024. 10. 9. PyTorch 문서) PyTorch Recipes - Saving and loading models for inference in PyTorch 추론을 위한 모델의 저장과 로드원글 : Saving and Loading models for inference in PyTorch파이토치에서 모델을 저장하고 불러와 사용하는 방법에는 2가지가 있다.첫번째는 state_dict를 저장 및 로드하는 것이고두번째는 전체 모델을 저장하거나 불러오는 방법이다.Introductiontorch.save() 함수를 통해 모델의 state_dict를 저장하는 것은 나중에 모델을 다시 사용하기 위한 가장 유연한 방법이다.이 방식이 추천되는 이유는 훈련된 모델에서 학습된 파라미터만을 저장하기 때문이다.전체 모델의 저장과 로드는 모델의 전체 모듈을 파이썬의 pickle 모듈을 사용해 저장하는 방법이다.참고) pickle은 파이썬 객체를 저장하고 불러오는데 사용되는 모듈로서, .. 2024. 10. 8. 이전 1 2 3 4 다음