금융 시장을 위한 머신러닝 입문

2018년, 한 퀀트 팀이 자신들의 펀드에 백테스트에서 $100,000를 $4.2 million으로 불린 모델을 보여주었습니다. 자산 곡선은 거의 완벽한 45도 직선이었습니다. 샤프 비율은 4.0이었습니다 — 역사상 거의 모든 헤지펀드보다 나은 수치였습니다. 그들은 실제 자금으로 이를 배포했습니다.

첫 주에 손실을 냈고, 이후 석 달 동안 계속 피를 흘리다가 결국 중단했습니다. 서류상으로 $4.2 million을 “벌었던” 모델은 실제로는 아무것도 벌지 못했습니다. 조작된 것은 없었습니다 — 사기도, 버그도 없었습니다. 그 모델은 단지 미래에 대해 무언가를 배운 것이 아니라 과거를 통째로 외웠을 뿐입니다.

이 이야기는 너무 자주 반복되어서 이름까지 붙었습니다: 백테스트 과적합(overfitting)이며, 머신러닝 펀드가 실패하는 가장 큰 단일 원인입니다. 수십억 달러 규모의 ML 기반 전략을 운용해온 마르코스 로페즈 데 프라도는 이를 직설적으로 표현했습니다: 충분히 많은 시도만 있다면, 순수한 노이즈로도 누구나 아름다운 백테스트를 만들어낼 수 있다고 말입니다. 시장은 여러분의 신경망이 얼마나 우아한지 신경 쓰지 않습니다.

머신러닝은 시장이 거래되는 방식을 진정으로 변화시키고 있습니다. 하지만 훌륭해 보이는 모델과 실제 시장과의 접촉에서 살아남는 모델 사이의 간극은 엄청나며, 그 둘을 구별하는 법을 배우는 것이 이 게임의 전부입니다. 이 레슨은 두 가지 모두를 가르칩니다: 실제 우위를 찾아내는 ML 시스템을 만드는 법, 그리고 그 후반부를 건너뛰는 사람들을 파괴하는 함정을 피하는 법입니다.

머신러닝은 각 상황에 대해 명시적으로 프로그래밍되지 않고도 컴퓨터가 데이터로부터 패턴을 학습하게 하는 과학입니다. “RSI가 30 아래로 떨어지면 매수하라” 같은 규칙을 작성하는 대신, 알고리즘에 수천 개의 과거 예시를 먹여서 어떤 패턴이 수익성 있는 거래에 앞서 나타나는지 스스로 발견하게 합니다. 기계는 경험에서 일반화합니다 — 숙련된 트레이더가 직관을 발전시키는 것과 정확히 같지만, 어떤 인간의 머릿속에도 담을 수 없는 양의 데이터를 다룹니다.

금융 시장은 그러한 데이터를 엄청난 양으로 생성합니다: 가격 틱, 오더북 스냅샷, 펀딩비, 온체인 흐름, 심리 점수, 매크로 발표. 전통적인 규칙 기반 전략은 창시자가 이미 상상했던 관계만 포착합니다. ML 모델은 수백 개의 피처에 걸쳐 비선형적이고 고차원적인 상호작용을 동시에 감지할 수 있습니다 — 인간 분석가라면 결코 테스트해볼 생각조차 하지 못할 관계들입니다.

그러나 시장은 응용 ML 전체에서 가장 적대적인 환경이며, 왜 그런지를 솔직히 짚어볼 필요가 있습니다. 대부분의 ML 돌파구 — 이미지 인식, 언어 모델 — 는 기저의 규칙이 움직이지 않기 때문에 작동합니다. 고양이는 그 사진이 2010년에 찍혔든 2026년에 찍혔든 고양이처럼 보입니다. 시장은 그 반대입니다:

• 데이터가 정상성(stationary)을 갖지 않습니다. 시장의 통계적 “규칙”은 국면(regime)이 바뀔 때마다 끊임없이 이동합니다. 고요한 불장에서 학습된 모델은 크래시에서 실제로 위험해질 수 있습니다.
• 신호 대 잡음비가 잔인합니다. 이미지 인식에서는 거의 모든 픽셀이 정보를 담고 있습니다. 수익률에서는 가격 움직임의 대부분이 잡음입니다. 여러분은 무작위성이 몰아치는 바다에서 희미한 신호를 채굴하고 있는 것입니다.
• 여러분은 적응하는 상대와 경쟁하고 있습니다. 고양이는 여러분의 분류기를 속이려고 자신의 외모를 바꾸지 않습니다. 진짜 시장의 우위가 유명해지는 순간, 다른 트레이더들이 차익거래로 그것을 지워버립니다. 여러분의 모델의 성공은 조용히 그 자신의 우위를 갉아먹습니다.

좋은 소식은, 이제는 장벽이 데이터나 컴퓨팅 접근성이 아니라는 것입니다. GaiaEx 같은 플랫폼은 Hyperliquid L1의 실시간 및 과거 시장 데이터에 대한 API 접근을 제공하므로, 어떤 개발자든 ML이 요구하는 데이터셋을 수집할 수 있습니다. 남은 장벽은 지식이며 — 그것이 정확히 이 레슨이 제공하는 것입니다.

머신러닝은 하나의 기법이 아니라 — 각각 다른 문제에 적합한 접근법들의 집합입니다. 금융에서는 이 세 가지 주요 패러다임 모두가 실제 응용 사례를 가지고 있습니다.

지도학습은 그중 주력입니다. 모델에 레이블이 붙은 예시를 줍니다: 알려진 결과(타깃)와 짝지어진 과거 피처 벡터(입력)이며, 모델은 한쪽에서 다른 쪽으로의 매핑을 학습합니다. 금융에서는 두 가지 하위 유형이 주를 이룹니다:

• 분류(Classification) — 범주를 예측합니다. 자산이 다음 한 시간 동안 오를까, 내릴까요? 이 트랜잭션은 사기일까요? 출력은 대개 확률이 딸린 이산적인 레이블입니다.
• 회귀(Regression) — 연속적인 값을 예측합니다. 1시간 수익률은 얼마일까요? 적정 펀딩비는 얼마일까요? 출력은 숫자이며, 모델은 예측 오차를 최소화합니다.

비지도학습은 레이블 없이 데이터의 구조를 찾아냅니다. K-Means 같은 클러스터링 알고리즘은 여러분이 그 국면을 사전에 정의하지 않고도 거래일들을 시장 국면 — 트렌드, 평균회귀, 고변동성 — 으로 그룹화할 수 있습니다. PCA 같은 차원 축소는 서로 연관된 수백 개의 피처를 몇 개의 독립적인 요인으로 압축하며, 이는 여러분의 피처 집합이 샘플의 깊이보다 넓을 때 중요해집니다.

강화학습(RL)은 누적 보상을 최대화함으로써 연속적인 결정을 내리도록 에이전트를 훈련시킵니다. 에이전트는 환경(시장)과 상호작용하고, 행동(매수, 매도, 보유)을 취하며, 피드백(이익 또는 손실)을 받습니다. RL은 최선의 행동이 현재 포지션, 거래 비용, 시장 임팩트에 좌우되는 포트폴리오 배분과 주문 실행에 매력적입니다. DeepMind의 게임 플레이 에이전트들은 금융 RL 연구의 물결에 영감을 주었지만 — 실제 결과는 여전히 엇갈리는데, 정확히 시장이 정상성을 갖지 않고 “게임”이 진행 중에도 규칙을 계속 바꾸기 때문입니다.

머신러닝에서 피처는 모델이 예측에 사용하는 입력 변수입니다. 원시 OHLCV 데이터는 출발점이지만, 원시 가격을 모델에 그대로 넣는 것은 요리사에게 밀가루 대신 원료 밀을 건네주는 것과 같습니다 — 먼저 그것을 가공해야 합니다. 피처 엔지니어링은 도메인 전문성이 데이터 과학과 만나는 곳이며, 알고리즘의 선택보다 작동하는 모델과 무용한 모델 사이의 차이를 만드는 경우가 훨씬 많습니다.

금융 ML에서 흔한 피처 범주는 다음과 같습니다:

• 기술적 지표 — RSI, MACD, 볼린저 밴드 폭, ATR, ADX. 이들은 모멘텀, 변동성, 추세 강도를 표준화되고 스케일에 무관한 입력값으로 인코딩합니다.
• 랙 피처 — 여러 시간대(1봉, 5봉, 20봉, 60봉)에 걸친 과거 수익률로, 서로 다른 시간 척도에서의 모멘텀과 평균회귀를 포착합니다.
• 변동성 지표 — 롤링 표준편차, (고가/저가로 계산되는) Parkinson 변동성, Garman-Klass 추정치. 변동성 클러스터링은 금융 전체에서 가장 신뢰할 수 있는 정형화된 사실 중 하나입니다.
• 거래량 피처 — 거래량 비율(현재 대비 평균), on-balance volume, 거래량-가격 상관관계. 이례적인 거래량은 흔히 가격 움직임에 선행합니다.
• 크로스 애셋 피처 — ETH를 예측할 때 입력값으로서의 BTC 수익률. 자산 간 상관관계의 변화는 가격보다 먼저 국면 변화를 알려주는 경우가 많습니다.

Python에서 피처를 엔지니어링하는 실제 예시입니다:

import pandas as pd
import numpy as np

def engineer_features(df: pd.DataFrame) -> pd.DataFrame:
    df["return_1h"] = df["close"].pct_change(1)
    df["return_4h"] = df["close"].pct_change(4)
    df["return_24h"] = df["close"].pct_change(24)
    df["volatility_24h"] = df["return_1h"].rolling(24).std()
    df["rsi_14"] = compute_rsi(df["close"], 14)
    df["volume_ratio"] = df["volume"] / df["volume"].rolling(24).mean()
    df["atr_14"] = compute_atr(df, 14)
    return df.dropna()

두 가지 규칙은 절대 타협할 수 없습니다. 첫째, 미래 데이터를 절대 사용하지 마십시오 — 모든 피처는 예측 시점에 이용 가능한 정보로부터 계산 가능해야 합니다. 수익성 있는 전략을 “발견”하는 가장 흔한 방법은 내일의 숫자가 오늘의 피처로 실수로 흘러들게 하는 것입니다. 둘째, 입력을 정규화하십시오. 대부분의 ML 모델은 피처가 극단적으로 다른 스케일에 걸쳐 있을 때(60,000의 가격과 30의 RSI가 나란히 있을 때) 제대로 작동하지 못합니다.

이 레슨 전체에서 단 하나만 기억해야 한다면, 이것을 기억하십시오: 표준 ML 검증은 금융 시장에 대해서는 치명적으로 잘못되었습니다.

일반적인 머신러닝에서는 데이터를 무작위로 섞어 훈련·테스트 세트로 나눕니다. 시계열 가격 데이터에 그렇게 하면, 방금 모델이 미래를 학습해 과거를 예측하도록 내버려 둔 것입니다. 정확도는 놀라워 보일 것입니다. 실전 트레이딩은 도살장이 될 것입니다. 선행 편향(look-ahead bias)이라 불리는 이 단 하나의 실수는 어떤 시장 크래시보다도 많은 퀀트 전략을 폭파시킨 원인입니다. 올바른 접근은 항상 시간의 화살을 존중합니다:

시간순 훈련/검증/테스트 분할. 날짜로 데이터를 나눕니다: 2020~2022년으로 훈련하고, 2023년으로 검증하고, 2024년으로 테스트합니다. 테스트 세트는 정확히 한 번만 손대야 합니다 — 그것이 여러분의 실전 트레이딩 시뮬레이션입니다. 테스트 세트에 대해 하이퍼파라미터를 튜닝하는 순간, 그것은 더 이상 테스트 세트가 아니게 되며, 여러분은 아웃오브샘플 성능에 대한 정직한 추정을 잃게 됩니다.

워크포워드 검증(확장 또는 슬라이딩 윈도우)이 더 견고합니다. 1~12개월로 훈련하고 13개월을 예측합니다. 그런 다음 1~13개월(또는 2~13개월)로 훈련하고 14개월을 예측합니다. 반복합니다. 이는 모델이 한 번도 보지 못한 데이터에 대해 많은 아웃오브샘플 예측을 생성하는 동시에, 변화하는 조건에 적응합니다 — 이는 전략이 실제로 배포되고 재훈련되는 방식을 그대로 반영합니다.

퍼지드 교차검증(Purged cross-validation)(마르코스 로페즈 데 프라도가 도입)은 훈련 폴드와 테스트 폴드 사이에 갭을 추가해 겹치는 레이블을 통한 정보 누출을 막습니다. 여러분의 타깃이 24시간 앞선 수익률이라면, 폴드 경계 근처의 관측값들은 정보를 공유하게 됩니다 — 이 퍼지(purge) 갭이 그 오염을 제거합니다. 테스트 폴드 이후에 추가되는 “임뱀고(embargo)” 기간은 연속 상관관계가 훈련으로 다시 스며드는 것을 막아줍니다.

마지막으로, 모델을 교과서를 위한 지표가 아니라 돈을 위해 중요한 지표로 판단하십시오. 정확도 단독은 오해를 부릅니다. 51% 정확도의 모델이라도 큰 움직임에서 맞으면 매우 수익성이 있을 수 있고, 70% 정확도의 모델이 작은 움직임만 정확히 맞춘다면 수수료 이후 손실을 볼 수도 있습니다. 방향 예측에 대한 정밀도, 결과 전략의 샤프 비율, 최대 드로다운을 추적하고 — 항상 현실적인 거래 비용과 슬리피지를 제한 값으로 계산하십시오.

표 형태(tabular)의 금융 데이터 — OHLCV 캔들, 기술적 지표, 엔지니어링된 피처에서 얻는 데이터 종류 — 에 대해서는, 트리 기반 앙상블 모델이 딥러닝 신경망을 일관되게 앞섭니다. 이는 의견이 아니라, 잘 정립된 실증적 결과입니다(Grinsztajn 외, 2022, “왜 트리 기반 모델이 표 형태 데이터에서 여전히 딥러닝을 앞서는가?” 참조). 이미지와 언어에는 딥러닝이 지배합니다. 피처로 된 표에는 트리가 이깁니다.

랜덤 포레스트는 각각 행과 피처의 무작위 부분집합으로 훈련된 수백 개의 결정 트리를 만들고, 그 예측을 평균합니다. 이 평균화가 분산과 과적합을 줄여줍니다. 이들은 견고하고, 최소한의 튜닝만 필요하며, 무엇이 실제로 모델을 이끄는지 이해하는 데 매우 유용한 내장 피처 중요도 순위를 제공합니다.

그라디언트 부스팅(XGBoost, LightGBM, CatBoost)은 트리를 순차적으로 만들며, 각 트리가 지금까지의 앙상블의 오류를 교정합니다. 이는 보통 정확도 면에서 랜덤 포레스트를 앞서지만 더 신중한 튜닝이 필요합니다. LightGBM은 대부분의 금융 ML 실무자들의 기본 선택입니다: 빠른 훈련, 결측값에 대한 네이티브 처리, 그리고 수백만 행까지 편안하게 확장됩니다.

import lightgbm as lgb
from sklearn.model_selection import TimeSeriesSplit

model = lgb.LGBMClassifier(
    n_estimators=500,
    max_depth=6,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    min_child_samples=50,
)

tscv = TimeSeriesSplit(n_splits=5)
for train_idx, val_idx in tscv.split(X):
    model.fit(X.iloc[train_idx], y.iloc[train_idx],
              eval_set=[(X.iloc[val_idx], y.iloc[val_idx])])

딥러닝도 여전히 자리가 있습니다 — 다만 좁은 자리입니다. LSTM과 트랜스포머는 원시 시퀀셜 데이터에서 진짜로 가치를 더할 수 있습니다: 틱 단위 오더 플로우, 또는 순서와 맥락이 정보를 담고 있어 평평한 표가 버리게 되는 뉴스와 소셜 미디어 심리를 가격과 결합하는 경우입니다. 다만 기본값으로 이들을 선택하지는 마십시오. 엔지니어링된 피처를 가진 구조화된 데이터에 대해서는, GaiaEx의 API에서 가져온 데이터로 잘 튜닝된 LightGBM이 거의 항상 신경망을 이길 것이며 — 몇 시간이 아니라 몇 초 안에 훈련됩니다.

가격 예측이 모든 관심을 받지만, 그것은 시장에서 ML의 가장 어렵고 가장 신뢰할 수 없는 활용법입니다. 가장 가치 있는 응용 중 일부는 다음 캔들을 예측하는 것과 아무 관련이 없습니다:

• 시장 국면 탐지. 비지도 클러스터링은 시장 상태를 국면 — 조용한 트렌드, 요동치는 평균회귀, 고변동성 패닉 — 으로 정렬합니다. 여러분이 어떤 국면에 있는지 아는 것은 전략을 전환하거나 규모를 줄이게 해주며, 이는 단일 방향성 예측보다 종종 더 값어치가 있습니다.
• 심리 분석. 대규모 언어모델은 어떤 인간도 할 수 없는 규모로 뉴스, X/Twitter, Discord를 읽어 시장 분위기의 변화를 채점합니다. 연구는 심리 신호를 가격 데이터와 결합하는 것이 가격 단독보다 크립토 예측 정확도를 개선한다는 것을 일관되게 보여줍니다 — 심리는 크립토를 유례없이 강하게 움직입니다.
• 사기 및 조작 탐지. 이곳이 ML이 조용히 빛나는 곳입니다. 모델은 협조된 덤프에 앞서 나타나는 비정상적인 거래량과 오더북 패턴을 포착함으로써 워시 트레이딩, 스푸핑, 전형적인 펌프 앤 덤프 스킴을 표시합니다. 이상탐지 모델(LSTM, Anomaly Transformer)은 이 영역에서 전통적인 ML과 단순한 통계적 임계값을 신뢰할 수 있게 앞섭니다.
• 실행과 슬리피지 모델링. ML은 대규모 주문의 시장 임팩트를 예측하여, 실행 알고리즘이 비용을 최소화하도록 그것을 분할하는 데 도움을 줍니다. 서투른 주문이 오더북을 여러분에게 불리하게 움직일 수 있는 크립토 같은 24/7 거래소에서, 이는 여러분의 손익을 직접 보호합니다.
• 리스크 및 청산 관리. 모델은 현재 변동성을 감안했을 때 포지션이 리스크 임계값을 위반할 확률을 추정하여, 캐스케이드가 발생하기 전에 포지션 규모와 스톱을 설정하는 데 도움을 줍니다.

정직한 교육이란 이것이 어떻게 잘못되는지를 짚는 것을 의미합니다. 대개는 잘못되기 때문입니다. 이러한 함정들은 어떤 베어마켓을 모두 합친 것보다 더 많은 퀀트 전략을 파괴했습니다:

• 과적합. 모델이 일반화 가능한 무언가를 배우는 대신 훈련 데이터를 외웁니다. 치료법은 영리함이 아니라 규율입니다: 더 단순한 모델, 더 적은 피처, 정규화, 그리고 무자비한 아웃오브샘플 테스트입니다. 백테스트가 너무 좋아서 믿기지 않는다면, 실제로 믿을 게 아닙니다.
• 선행 편향. 결정 시점에는 이용 가능하지 않았던 정보를 사용하는 것입니다 — 분할하기 전에 전체 데이터셋에서 피처를 계산하거나, 나중에 수정된 가격을 사용하거나, (누구도 인정하는 것보다 흔한) 타깃 변수를 피처 세트에 남겨두는 것입니다.
• 생존자 편향. 오늘날에도 여전히 존재하는 자산만으로 훈련하는 것입니다. 상장 폐지된 토큰, 러그당한 프로젝트, 죽은 코인은 여러분의 데이터셋에서 조용히 사라져 있으며, 이는 모든 결과를 위로 편향시킵니다. 크립토에서는 이것이 심각합니다 — 수천 개의 토큰이 제로가 되었습니다.
• 비정상성(non-stationarity). 시장 분포는 이동합니다. 2021년 불장에서 훈련된 모델은 2022년 베어마켓에서 실패합니다 — 학습한 규칙이 더는 유효하지 않기 때문입니다. “설정하고 잊어버리는” 것이 아니라 정기적으로 재훈련하고 분포 드리프트를 감시해야 합니다.
• 다중 검정의 함정. 1,000가지 전략 변형을 시도하면, 몇 개는 순전히 운으로 훌륭해 보일 것입니다. 그 “$4.2 million” 백테스트가 바로 이렇게 발생합니다. 디플레이티드 샤프 비율(Deflated Sharpe Ratio) 같은 도구들은 충분히 열심히 찾은 것만으로 발견한 성과를 정확히 할인하기 위해 존재합니다.
• 연구-실전 간극. 백테스트는 마찰 없는 즉각적인 체결을 가정합니다. 실전 시장은 슬리피지, 수수료, 지연 시간, 시장 임팩트를 부과하며, 이는 통상적으로 이론적 수익률의 30~70%를 깎아내고 — “수익성 있는” 전략을 마이너스로 뒤집을 수 있습니다.

이 목록에는 더 깊은 요점이 숨어 있습니다. 시장은 적대적이고 적응하는 시스템입니다 — 실제 우위는 그것을 차익거래로 지워버리는 경쟁자들을 끌어당깁니다. 1년 동안 이겼던 모델이 코드에 아무 결함이 없어도 붐비게 되는 달에 작동을 멈출 수 있습니다. 이것이 성공적인 퀀트 오퍼레이션이 하나의 완벽한 모델을 찾지 않는 이유입니다 — 그들은 시장이 진화함에 따라 우위를 계속 찾고, 검증하고, 은퇴시키는 파이프라인을 구축합니다.

여러분이 읽은 모든 퀀트 스킬은 먼저 한 가지에 의존합니다: 깨끗하고 신뢰할 수 있는 데이터입니다. 이것이 GaiaEx가 여러분의 ML 워크플로우에 맞아 들어가는 지점입니다. 거래가 Hyperliquid L1에서 실행되기 때문에, 모든 체결, 펀딩비, 오더북 변경은 온체인에 기록되고 GaiaEx API를 통해 노출됩니다 — 많은 중앙화된 데이터 피드를 괴롭히는 결측과 조용한 수정 없이, 투명하고 세밀한 실시간·과거 데이터를 여러분에게 제공합니다.

온체인 데이터가 ML에 중요한 이유: 모델은 그 입력만큼만 정직합니다. 훈련 데이터가 블랙박스 내부 데이터베이스가 아니라 투명한 L1에서 나올 때, 여러분이 학습하는 가격과 거래량이 실제로 거래된 가격과 거래량이라는 것을 신뢰할 수 있습니다. 이는 피처에 도달하기도 전에 미묘한 데이터 무결성 버그의 한 카테고리 전체를 제거해줍니다.

여러분의 첫 프로젝트는 의도적으로 단순해야 합니다. 목표는 첫 시도에서 시장을 이기는 것이 아니라 — 반복해서 발전시켜 나갈 수 있는 완전하고 누출 없는 파이프라인을 구축하는 것입니다. 구체적인 로드맵입니다:

• GaiaEx의 API에서 BTC/USDC의 1시간 캔들 데이터를 최소 6개월치 수집하십시오.
• 10~15개의 피처를 엔지니어링하십시오: 랙 수익률, RSI, ATR, 거래량 비율, 볼린저 밴드 폭.
• 각 봉에 레이블을 붙이십시오: 다음 4시간 수익률이 양수면 1, 아니면 0.
• 워크포워드 검증을 사용해 LightGBM 분류기를 훈련하십시오 — 절대 무작위 분할을 쓰지 마십시오.
• 모델이 1을 예측할 때 롱을 잡는 단순한 전략의 정밀도, 재현율, 샤프 비율을 현실적인 수수료를 제한 후 평가하십시오.

그런 다음 — 그리고 이것이 초보자들이 건너뛰는 부분입니다 — 그것을 부숴보려고 시도하십시오. 퍼지 갭을 추가해 여러분의 우위가 살아남는지 확인하십시오. 어떤 피처가 몰래 미래를 누출하고 있는지 확인하십시오. 다른 시간 구간에서 테스트하십시오. 검증 하에서 우위가 증발한다면, 여러분은 진짜로 가치 있는 것을 배운 것입니다: 그것은 결코 진짜가 아니었으며, 여러분은 자본이 아니라 공짜로 그것을 알아냈다는 것입니다.