개발자식

Pytorch Lightning - 배경: 딥러닝에서의 많은 엔지니어링 코드는 모델이 달라져도 역할이 비슷한 경우가 많다. 그래서 공통된 부분들을 반복해서 작성할 필요 없이 유연하게 커스터마이징하여 실험할 수 있는 라이브러리가 필요했다. 이것이 Pytorch Lightning이다. Pytorch는 어땠는데? - DataLoader 구성, Model 구성, Backpropagation + weight update, 전체 코드를 실행하는 main 스크립트 이렇게 정리할 수 있다. 전처리 하는 과정을 제외하고. - 이는 task나 데이터가 변경되면 코드를 재사용하기 어렵다. 이를 코드로 비교해 보면 다음과 같다. Pytorch로 코드를 구현해 본 사람이라면 어느 정도 어떻게 바뀌었는지 느낌이 올 것이다. Da..

torch.nn.RNN() Pytorch RNN API 제공 입력 시퀀스의 각 요소에 대해 각 계층은 아래의 함수를 꼐산한다. Parameters input_size: Input의 사이즈에 해당 하는 수를 입력하면 됩니다. hidden_size: 은닉층의 사이즈에 해당 하는 수를 입력하면 됩니다. num_layers: RNN의 은닉층 레이어 개수를 나타냅니다. 기본 값은 1입니다. nonlinearity: 비선형 활성화 함수를 선택합니다. tanh, relu중 하나를 선택 가능하며, 기본 값은 tanh입니다. bias: 바이어스 값 활성화 여부를 선택합니다. 기본 값은 True 입니다. batch_first: True일 시, Output 값의 사이즈는 (batch, seq, feature) 가 됩니다. ..

딥러닝은 수많은 레이어(블록) 반복의 연속이다! torch.nn.Module - 딥러닝을 구성하는 Layer의 base 클래스 - input, output, forward, backward 그리고 학습의 대상이 되는 parameter(tensor)도 정의된다. torch.nn.Parameter - Tensor 객체의 상속 객체 - nn.Module 내에 attribute가 될 때는 required_grad = True로 지정되어 학습 대상이 되는 Tensor이다. - low-level이 아니라면 우리가 직접 지정할 일은 잘 없다. (대부분 정해져 있음) 만약에 Module 내에 attribute를 Parameter 말고 Tensor로 선언한다면? -. parameters()로 파라미터를 확인하면 나오지 ..

PyTorch - Numpy + AutoGrad + Function PyTorch는 Tensor를 이용하여 모델의 입력, 출력 그리고 모델의 매개변수를 부호화한다. Tensor는 - 배열이나 행렬과 매우 유사한 자료구조로 - numpy의 ndarray와 매우 유사하다. - 그래서 기본적으로 tensor가 가질 수 있는 데이터 타입은 numpy와 동일하다. (참고 : https://pytorch.org/docs/stable/tensors.html) - numpy와 다른 점은 GPU나 다른 연산 가속을 위한 특수한 하드웨어에서 실행할 수 있다는 점이다. - numpy에 익숙하다면 tensor api에도 익숙할 것이다. + numpy 필수..!! tensor를 만드는 코드 먼저 numpy와 얼마나 유사한지 보..

딥러닝을 할 때 코드를 처음부터 다 짤까?? -> 절대 네버. 딥러닝 프레임워크를 활용하여 딥러닝의 모든 수식과 연산을 손쉽게 계산한다. 그렇다면 대표적인 딥러닝 프레임워크는 무엇일까? - pytorch - tensorflow tensorflow 사용해봤다 만으로도 메리트가 있었던 시절이 있었다. 그리고 딥러닝 프레임워크를 사람들이 직접 만들어서 공개하기도 했었다. 그렇지만 이제는 대표적인 딥러닝 프레임워크를 활용해서 대부분 구현한다! 왜?? 자료도 많고 관리도 잘되고 표준이기 때문이다. tensorflow 공개 이유로는 문서화를 잘하기 위해서라고도 한다. 하지만 이 외에도 딥러닝 프레임워크는 생각보다 엄청 많다고 한다. pytorch의 경우 AI 표준 언어로 파이썬이 자리 잡으면서 torch에 py를 ..