PyTorch基礎：モデルの構築とトレーニング

PyTorchはデフォルトで eager execution（即時実行）を採用しています。テンソルはPythonの演算を通じて流れ、あなたは普通のデータのように出力し、スライスし、デバッグすることができます。これはファイナンスにおいて重要です。仕事の半分は、特徴量の雑然としたパネルを再構成し、モデルに渡すテンソルに未来の情報が紛れ込んでいないことを検証することだからです。

古い「静的グラフを構築し、それからセッションを実行する」というワークフローと対比してみてください。研究者は今でもデプロイのためにモデルをエクスポートしますが、日々の作業は即時性から利益を得ます。層を変え、セルを再実行し、活性化を検査する、というように。

テンソルとは多次元配列であり、requires_grad=Trueは導関数を求めたい葉（リーフ）に印をつけます。Autogradは演算を記録して逆伝播グラフを構築し、loss.backward()がパラメーターの.gradを埋めます。

import torch
x = torch.randn(32, 10, requires_grad=True)
w = torch.randn(10, 1, requires_grad=True)
y = (x @ w).mean()
y.backward()
print(w.grad.shape)

利用可能な場合はテンソルをcudaやmpsに置き、デバイスの配置を一貫させてください。小さなテンソルをステップごとに前後に動かしてしまわないようにするためです。

nn.Moduleをサブクラス化し、__init__で層を定義し、forwardでそれらを接続します。登録により、パラメーターは最適化のためのmodel.parameters()に確実に現れます。

import torch.nn as nn

class MLP(nn.Module):
    def __init__(self, n):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(n, 64), nn.ReLU(), nn.Linear(64, 1)
        )
    def forward(self, x):
        return self.net(x)

シーケンスモデルでは、nn.LSTMやnn.TransformerEncoder層が一般的です。表形式のアルファでは、MLPと勾配ブースティングが今でも競合しています——流行ではなく、検証の規律によって選んでください。

トレーニングは意図的に反復的です。順伝播、損失、勾定初期化、逆伝播、ステップ。以下の細部が重要です。model.train()対model.eval()はドロップアウトとバッチノルムを切り替え、torch.no_grad()はメモリを節約するためにバリデーションをラップします。

Datasetをサブクラス化して特徴量とラベルを実体化し、DataLoaderでラップしてバッチ化します。時系列データでは、通常バリデーションではshuffle=Falseを保ち、連続したウィンドウでスライスしている場合はトレーニングでもそうすることが多いです——そうしないと、情報が時間軸をまたいで塗りつぶされてしまいます。

GaiaExや類似のフィードからのティックデータでトレーニングする場合は、バーを単一のクロックに揃え、欠落したプリントを明示的に処理し、特徴量のコードをモデルのチェックポイントと一緒にバージョン管理してください。

低レイテンシの推論では、チームはしばしばモデルをトレース、あるいはスクリプト化し、それをC++ランタイムやサイドカーサービスで実行します。トレーニング環境（ライブラリのバージョン）を、エクスポートに使ったものに固定しておいてください。

PyTorch Lightning や類似のフレームワークは、マルチGPUトレーニングやロギングのためのボイラープレートを減らします。それらは注意深い特徴量設計の代わりにはなりません。トレーディングにおけるエッジは通常、少し洗練されたオプティマイザからではなく、データの衛生管理とレジーム認識から生まれます。