PyTorch 기초: 모델 구축과 학습

PyTorch는 기본적으로 eager 실행 방식입니다: 텐서가 Python 연산을 통해 흐르며, 여러분은 일반적인 데이터처럼 출력하고, 슬라이싱하고, 디버깅할 수 있습니다. 이는 금융에서 중요합니다. 업무의 절반이 지저분한 피처 패널을 다시 구성하고, 모델에 입력하는 텐서 안에 미래 참조(look-ahead)가 몰래 섞여 들어가지 않았는지 검증하는 일이기 때문입니다.

이를 예전의 "정적 그래프를 구축한 후 세션을 실행하는" 워크플로우와 대조해 보십시오. 연구자들은 여전히 배포를 위해 모델을 내보내지만, 일상적인 작업은 즉시성에서 이점을 얻습니다: 레이어를 바꾸고, 셀을 재실행하고, 활성값을 검사할 수 있습니다.

텐서(tensor)는 다차원 배열입니다; requires_grad=True는 도함수를 원하는 리프(leaf)를 표시합니다. Autograd는 연산을 기록해 역전파 그래프를 구축하므로, loss.backward()가 파라미터의 .grad를 채웁니다.

import torch
x = torch.randn(32, 10, requires_grad=True)
w = torch.randn(10, 1, requires_grad=True)
y = (x @ w).mean()
y.backward()
print(w.grad.shape)

가능하다면 텐서를 cuda나 mps에 배치하십시오; 디바이스 배치를 일관되게 유지해 작은 텐서를 매 스텝마다 실수로 앞뒤로 옮기지 않도록 하십시오.

nn.Module을 서브클래스화하고, 레이어를 __init__에서 정의한 뒤, forward에서 연결하십시오. 등록을 통해 파라미터가 옵티마이저를 위한 model.parameters()에 나타나게 됩니다.

import torch.nn as nn

class MLP(nn.Module):
    def __init__(self, n):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(n, 64), nn.ReLU(), nn.Linear(64, 1)
        )
    def forward(self, x):
        return self.net(x)

시퀀스 모델에는 nn.LSTM과 nn.TransformerEncoder 레이어가 흔히 사용됩니다; 테이블형 알파를 위해서는 MLP와 그레이디언트 부스팅이 여전히 경쟁합니다 — 트렌드가 아니라 검증 원칙에 따라 선택하십시오.

학습은 의도적으로 반복적입니다: 순전파, 손실, 그레이디언트 초기화, 역전파, 스텝입니다. 부가적인 것들도 중요합니다: model.train()과 model.eval()은 드롭아웃과 배치 정규화를 켜고 끕니다; torch.no_grad()는 검증 과정을 감싸서 메모리를 절약합니다.

Dataset을 서브클래스화해 피처와 레이블을 구체화하고, 배치화를 위해 DataLoader로 감싸십시오. 시간순 데이터의 경우, 검증에서는 보통 shuffle=False를 유지하고, 연속된 윈도우로 슬라이스한다면 학습에서도 자주 그렇게 합니다 — 그렇지 않으면 시간에 걸쳐 정보가 뭉개집니다.

GaiaEx나 유사한 피드의 틱 데이터로 훈련한다면, 바를 단일 시계에 맞추고, 결측된 프린트를 명시적으로 처리하고, 여러분의 피처 코드를 모델 체크포인트와 함께 버전 관리하십시오.

저지연 추론을 위해, 팀들은 흔히 모델을 트레이스하거나 스크립트로 만든 뒤, C++ 런타임이나 사이드카 서비스에서 실행합니다. 훈련 환경(라이브러리 버전)을 내보낼 때 사용한 것과 동일하게 고정해 두십시오.

PyTorch Lightning과 유사한 프레임워크들은 멀티 GPU 훈련과 로깅의 보일러플레이트를 줄여줍니다; 이들은 신중한 피처 설계를 대체하지 않습니다. 트레이딩에서의 우위는 보통 조금 더 세련된 옵티마이저가 아니라 데이터 위생과 국면(regime) 인식에서 나옵니다.