전체 글62 PyTorch 문서) PyTorch Recipes - Reasoning about Shapes in PyTorch 파이토치에서 텐서의 모양에 대해서 추론하기원글 : Reasoning about Shapes in PyTorch파이토치에서 모델을 정의하여 사용할 때, 한 레이어의 매개변수는 이전 레이어의 출력 형태와 깊은 관련을 갖게 된다.nn.Linear 레이어에 입력되는 특성 개수를 의미하는 in_features는 입력의 맨 마지막 차원의 크기인 size(-1)과 일치해야 한다.컨볼루션 연산과 같은 경우에는 모양에 대한 계산을 위해 복잡한 수식이 필요하기도 하다.레이어의 모양에 대해 알기 위해서, 무작위로 생성된 입력 텐서에 대해서 포워드 패스(forward pass) 연산을 수행해 볼 수도 있지만, 이는 메모리와 연산 측면에서 낭비이다.즉, 어떤 데이터를 생성하고 직접 입력하는 대신에, 레이어의 출력 형태를 결정하.. 2024. 11. 10. PyTorch 문서) PyTorch Recipes - PyTorch Profiler 파이토치 프로파일러원글 : PyTorch Profiler이 글은 파이토치 프로파일러를 사용하는 방법과 모델이 동작할 때 소요되는 시간과 메모리 사용량을 측정하는 방법을 설명한다.Introduction파이토치에는 모델에서 가장 자원이 많이 소요되는 연산을 파악하는데 유용한 간단한 프로파일러 API를 가지고 있다.참고) 모델에서 연산의 양과 요구되는 자원이 적절하게 대응되지 않아서, 성능 상의 병목이 일어나거나 시간 소요가 많이 되는 연산을 비싼(expensive) 연산 또는 연산자(operator)라고 한다. 이 글에서는 설명을 위해 단순한 Resnet 모델을 활용하여, 모델의 성능을 분석하기 위해서 프로파일러를 사용하는 방법을 설명한다.Setuppip install torch torchvisionStep.. 2024. 11. 9. 오블완 2일차) How diffusion models work: the math from scratch 읽기 Awesome-Diffusion-models 레포의 Introductory Posts에서 How diffusion models work: the math from scratch를 읽고 정리해본다.원문 : How diffusion models work: the math from scratchDiffusion 모델은 다양한 고해상도 이미지를 생성할 수 있는 새로운 생성형 모델이다.이미 다양한 diffusion 기반의 아키텍쳐가 많이 있지만, 이 포스트에서는 DDPM(Denoising Diffusion Probabilistic Models)에 중점을 두어 설명한다.Diffusion 방식이 처음 제안된 논문 : Deep Unsupervised Learning using Nonequilibrium Thermody.. 2024. 11. 8. 오블완 1일차)유용하게 쓴 streamlit 기능들 최근에 ChatGPT api를 이용한 간단한 프로젝트를 streamlit을 통해 구현하면서, 유용하게 사용한 몇가지 기능들을 정리해보았다. 1. Streamlit share를 private하게 사용하기 파이썬 웹앱을 구현할 때, 마주치는 흔한 고민 중 하나는 "어디에다 배포할 것인가?"이다. 상대적으로 파이썬 백엔드를 웹서버로 제공하는 호스팅 서비스가 드물뿐더러, 일반적인 웹서버와 파이썬 코드를 연동하는 방식에 대한 설명을 찾기 쉽지않았다. 물론 클라우드에서 가상 서버를 활용하는 방식이나 파이썬 백엔드 프레임워크들에 대한 학습이 (상대적으로) 어렵지는 않겠지만, 간단한 웹구현을 목표로하는 streamlit 사용자 입장에서는 한없이 어렵게 느껴졌다. 다행히도 streamlit에서는 무료로 배포가 가능한 클.. 2024. 11. 7. 이전 1 2 3 4 5 ··· 16 다음