Panimula sa Machine Learning para sa Financial Markets

Noong 2018, ipinakita ng isang quant team sa kanilang fund ang isang model na naging $4.2 million ang $100,000 sa isang backtest. Ang equity curve ay malapit-perpektong 45-degree na linya. Ang Sharpe ratio ay 4.0 — mas maganda kaysa sa halos lahat ng hedge fund sa kasaysayan. Ideploy nila ito gamit ang totoong pera.

Nawalan ito ng pera sa unang linggo, tapos nagpatuloy na lugi sa loob ng tatlong buwan bago nila ito isara. Ang model na “kumita” ng $4.2 million sa papel ay walang kinita sa totoong mundo. Wala namang pineke — walang fraud, walang bug. Ang model ay simpleng nagmemorya ng nakaraan sa halip na natuto ng anuman tungkol sa hinaharap.

Ang kwentong ito ay umuulit nang madalas kaya may pangalan na ito: backtest overfitting, at ito ang pangunahing dahilan kung bakit nabibigo ang mga machine-learning fund. Sinabi ni Marcos López de Prado — na nagpatakbo ng bilyon-bilyon sa mga ML-driven na strategy — nang tuwiran: sa sapat na dami ng pagsubok, kaya ng kahit sino na makagawa ng isang magandang backtest sa purong ingay. Hindi mahalaga sa market kung gaano magaling ang neural network mo.

Talagang binabago ng machine learning kung paano tinatrade ang mga market. Pero ang agwat sa pagitan ng isang model na parang mahusay at isang model na nabubuhay sa contact ng live markets ay napakalaki — at ang pag-aaral kung paano makilala ang pagkakaiba ang buong laro. Ituturo sa iyo ng lesson na ito ang dalawa: paano bumuo ng mga ML system na natagpuan ang totoong edge, at paano iwasan ang mga bitag na nagwawasak sa mga taong lumaktaw sa second half.

Ang machine learning ay ang siyensya ng pagpapaturo sa mga computer na matuto ng patterns mula sa data nang hindi explicit na naprograma para sa bawat scenario. Sa halip na sumulat ng isang panuntunan tulad ng “bumili kapag bumagsak ang RSI sa ibaba ng 30,” pinapakain mo ang algorithm ng libo-libong historical na halimbawa at hayaan itong matuklasan kung aling patterns ang nauunahan ng profitable na mga trade. Ang makina ay generalize mula sa karanasan — eksaktong kung paano nagkakaroon ng intuition ang isang seasoned trader, pero sa mas malaking data kaysa sa kayang hawakan ng kahit anong tao sa kanyang isip.

Ang mga financial market ay gumagawa ng napakalaking dami nito: price ticks, order-book snapshots, funding rates, on-chain flows, sentiment scores, macro releases. Ang mga traditional na rule-based strategy ay kinukuha lang ang mga relasyon na naisip na ng kanilang creator. Kaya ng mga ML model na matukoy ang nonlinear, high-dimensional na interactions sa daan-daang features nang sabay-sabay — mga relasyon na hindi kailanman iisipin ng isang human analyst na subukan.

Pero ang markets ay ang pinaka-mapanganib na environment sa lahat ng applied ML, at sulit na maging tapat kung bakit. Karamihan sa mga breakthrough ng ML — image recognition, language models — ay gumagana dahil hindi gumagalaw ang mga underlying rules. Isang pusa ay mukhang pusa kung ang litrato ay kinuha noong 2010 o 2026. Kabaligtaran ang mga market:

• Hindi stationary ang data. Ang mga statistical na “panuntunan” ng market ay patuloy na nagbabago habang nagbabago ang mga regime. Ang isang model na trained sa isang mahinahong bull market ay puwedeng aktibong mapanganib sa isang crash.
• Malupit ang signal-to-noise ratio. Sa image recognition, halos bawat pixel ay may dalang impormasyon. Sa returns, karamihan sa galaw ng presyo ay ingay. Nagmimina ka para sa isang mahinang signal sa isang umuungal na dagat ng randomness.
• Nakikipagkumpetensya ka sa mga adaptive na adversary. Hindi nagbabago ang hitsura ng isang pusa para linlangin ang classifier mo. Sa sandaling maging popular ang isang totoong market edge, ang ibang traders ay nag-arbitrage dito hanggang mawala ito. Tahimik na inaalis ng tagumpay ng model mo ang sariling advantage nito.

Ang magandang balita: hindi na hadlang ang access sa data o compute. Ang mga platform tulad ng GaiaEx ay nagbibigay ng API access sa real-time at historical market data sa Hyperliquid L1, kaya kahit sinong developer ay puwedeng kolektahin ang mga dataset na kinakailangan ng ML. Ang natitirang hadlang ay kaalaman — na eksaktong ang ibinibigay ng lesson na ito.

Ang machine learning ay hindi isang technique lang — pamilya ito ng mga approach, ang bawat isa angkop para sa iba't ibang problema. Sa finance, may totoong applications ang lahat ng tatlong pangunahing paradigm.

Ang supervised learning ay ang workhorse. Binibigyan mo ang model ng labeled na mga halimbawa: historical feature vectors (inputs) na pinares sa mga kilalang outcomes (targets), at natutunan nito ang isang mapping mula sa isa patungo sa isa. Dalawang sub-type ang dominante sa financial use:

• Classification — hulaan ang isang category. Tataas ba o babagsak ang asset sa susunod na oras? Fraudulent ba ang transaction na ito? Ang output ay isang discrete label, karaniwang may kasamang probability.
• Regression — hulaan ang isang continuous value. Ano ang magiging 1-hour return? Ano ang fair funding rate? Ang output ay isang numero, at pinaliliit ng model ang prediction error.

Natutuklasan ng unsupervised learning ang structure sa data nang walang labels. Ang mga clustering algorithm tulad ng K-Means ay kayang paggrupohin ang mga trading days sa market regimes — trending, mean-reverting, high-volatility — nang hindi mo kailangang itakda ang mga regime na iyon nang maaga. Ang dimensionality reduction tulad ng PCA ay nag-iikot ng daan-daang correlated features sa isang kaunting independent factors, na mahalaga kapag mas malawak ang feature set mo kaysa sa lalim ng sample mo.

Ang reinforcement learning (RL) ay nagtratrain ng isang agent na gumawa ng isang sequence ng mga desisyon sa pag-maximize ng cumulative reward. Ang agent ay nakikipag-interact sa isang environment (ang market), gumagawa ng mga action (bumili, ibenta, hold), at tumatanggap ng feedback (tubo o lugi). Kaakit-akit ang RL para sa portfolio allocation at order execution, kung saan nakadepende ang best action sa kasalukuyang position mo, transaction costs, at market impact. Ang mga game-playing agent ng DeepMind ay nag-inspire ng isang alon ng finance RL research — pero halo-halo pa rin ang praktikal na resulta, eksaktong dahil hindi stationary ang mga market at patuloy na binabago ang “laro” ang panuntunan nito habang naglalaro.

Sa machine learning, ang features ay ang input variables na ginagamit ng model para gumawa ng predictions. Ang raw OHLCV data ay isang starting point, pero ang pagpapakain ng raw prices sa isang model ay parang pagbibigay ng chef ng hilaw na trigo sa halip na harina — dapat mo itong iproseso muna. Ang feature engineering ay kung saan nagtatagpo ang domain expertise at data science, at mas madalas itong nagiging dahilan ng pagkakaiba sa pagitan ng isang gumaganang model at isang walang-gamit kaysa sa pagpili ng algorithm.

Kasama sa mga karaniwang feature categories para sa financial ML:

• Technical indicators — RSI, MACD, Bollinger Band width, ATR, ADX. Ini-encode ng mga ito ang momentum, volatility, at trend strength bilang standardized, scale-invariant na inputs.
• Lag features — mga past returns sa maraming horizon (1-bar, 5-bar, 20-bar, 60-bar), kumukuha ng momentum at mean reversion sa iba't ibang timescale.
• Volatility measures — rolling standard deviation, Parkinson volatility (mula sa high/low), ang Garman-Klass estimator. Ang volatility clustering ay isa sa pinaka-maaasahang stylized facts sa buong finance.
• Volume features — volume ratio (kasalukuyan vs. average), on-balance volume, volume-price correlation. Madalas na inaunahan ng hindi karaniwang volume ang galaw ng presyo.
• Cross-asset features — ang return ng BTC bilang input kapag pina-predict ang ETH. Ang shifting correlations sa pagitan ng mga asset ay madalas na nag-flag ng regime changes bago ito gawin ng presyo.

Narito ang isang praktikal na halimbawa ng engineering features sa Python:

import pandas as pd
import numpy as np

def engineer_features(df: pd.DataFrame) -> pd.DataFrame:
    df["return_1h"] = df["close"].pct_change(1)
    df["return_4h"] = df["close"].pct_change(4)
    df["return_24h"] = df["close"].pct_change(24)
    df["volatility_24h"] = df["return_1h"].rolling(24).std()
    df["rsi_14"] = compute_rsi(df["close"], 14)
    df["volume_ratio"] = df["volume"] / df["volume"].rolling(24).mean()
    df["atr_14"] = compute_atr(df, 14)
    return df.dropna()

Dalawang panuntunan ang hindi negotiable. Una, huwag kailanman gumamit ng future data — dapat computable ang bawat feature mula sa impormasyong available sa sandali ng prediction. Ang pinakakaraniwang paraan para “matuklasan” ang isang profitable na strategy ay aksidenteng hayaang tumagas ang numero ng bukas sa features ngayon. Pangalawa, i-normalize ang mga input mo; nabubulunan ang karamihan sa mga ML model kapag ang features ay nagpapalawak sa magkaibang scales (isang presyong 60,000 katabi ng RSI na 30).

Kung isang bagay lang ang matatandaan mo sa buong lesson na ito, gawing ito: ang standard ML validation ay malubhang mali para sa financial markets.

Sa normal na machine learning, i-shuffle mo ang data mo nang random at hatiin ito sa train at test sets. Kung gagawin mo ito sa time-series price data, papayagan mo ang model na magtrain sa hinaharap para ihulaan ang nakaraan. Magiging maganda ang tingin ng accuracy mo. Magiging isang katayan ang live trading mo. Ang isang pagkakamaling ito — na kilala bilang look-ahead bias — ay responsable sa mas maraming nasirang quant strategy kaysa sa kahit anong market crash. Palaging respetado ng tamang approach ang direksyon ng oras:

Chronological train/validation/test split. Hatiin ang data base sa petsa: magtrain sa 2020–2022, mag-validate sa 2023, magtest sa 2024. Ang test set ay hinawakan eksaktong isang beses — ito ang simulation mo ng live trading. Sa sandaling i-tune mo ang hyperparameters laban dito, tumigil na itong maging test set at nawala ang tapat na estimate mo ng out-of-sample performance.

Ang walk-forward validation (expanding o sliding window) ay mas robust. Magtrain sa mga buwan 1–12, i-predict ang buwan 13. Tapos magtrain sa mga buwan 1–13 (o 2–13), i-predict ang buwan 14. Ulit. Gumagawa ito ng maraming out-of-sample predictions, ang bawat isa sa data na hindi kailanman nakita ng model, habang umaangkop sa nagbabagong conditions — sinasalamin nito kung paano talaga ideploy at retrain ang strategy.

Ang Purged cross-validation (ipinakilala ni Marcos López de Prado) ay nagdaragdag ng isang gap sa pagitan ng training at test folds para pigilan ang information leaking dahil sa overlapping labels. Kung ang target mo ay ang 24-hour forward return, ang mga observation malapit sa fold boundary ay may shared information; aalisin ng purge gap ang contamination na iyon. Ang isang karagdagang “embargo” period matapos ang test fold ay nagbabantay laban sa serial correlation na dumadaloy pabalik sa training.

Panghuli, husgahan ang model sa mga metric na mahalaga para sa pera, hindi para sa mga textbook. Nakaliligaw ang accuracy nang mag-isa. Ang isang model na 51% accurate pero tama sa malalaking galaw ay puwedeng napaka-profitable; ang isang 70%-accurate na model na tama lang sa maliliit na galaw ay puwedeng malugi matapos ang fees. I-track ang precision sa mga directional call mo, ang Sharpe ratio ng resultang strategy, at ang maximum drawdown — at laging net ng realistic na transaction costs at slippage.

Para sa tabular na financial data — ang klase na nakukuha mo mula sa OHLCV candles, technical indicators, at engineered features — ang tree-based ensemble models ay palaging natatalo ang deep neural networks. Hindi ito opinyon; ito ay isang well-established empirical result (tingnan si Grinsztajn et al., 2022, “Why do tree-based models still outperform deep learning on tabular data?”). Para sa images at language, dominante ang deep learning. Para sa isang table ng features, nananalo ang trees.

Ang Random Forests ay bumubuo ng daan-daang decision trees, ang bawat isa trained sa isang random subset ng rows at features, tapos i-average ang mga prediction nito. Ang averaging na ito ay nagpapaliit ng variance at overfitting. Robust sila, minimal ang tuning na kailangan, at may built-in na feature-importance ranking — mahalaga para maintindihan kung ano talaga ang nagtutulak sa model mo.

Ang Gradient Boosting (XGBoost, LightGBM, CatBoost) ay bumubuo ng trees nang sequential, ang bawat isa ay itinutuwid ang mga error ng ensemble hanggang ngayon. Karaniwan itong tinatalo ang random forests sa accuracy pero kailangan ng mas maingat na tuning. Ang LightGBM ang default choice para sa karamihan ng financial ML practitioner: mabilis na training, native na paghawak ng missing values, at scale nito sa milyun-milyong rows nang komportable.

import lightgbm as lgb
from sklearn.model_selection import TimeSeriesSplit

model = lgb.LGBMClassifier(
    n_estimators=500,
    max_depth=6,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    min_child_samples=50,
)

tscv = TimeSeriesSplit(n_splits=5)
for train_idx, val_idx in tscv.split(X):
    model.fit(X.iloc[train_idx], y.iloc[train_idx],
              eval_set=[(X.iloc[val_idx], y.iloc[val_idx])])

May lugar pa rin ang deep learning — pero maliit na lugar. Ang LSTMs at Transformers ay talagang kayang magdagdag ng halaga sa raw sequential na data: tick-by-tick order flow, o ang pagsasama ng presyo sa text ng balita at social-media sentiment, kung saan ang pagkasunod-sunod at context ay may dalang impormasyon na itinatapon ng flat tables. Huwag lang ito ang unang aabutin. Para sa structured na data na may engineered features, ang isang well-tuned na LightGBM na trained sa data mula sa API ng GaiaEx ay halos palaging tatalo sa isang neural network — at nagtratrain ito sa segundo sa halip na oras.

Ang price prediction ang kumukuha ng lahat ng atensyon, pero ito ang pinakamahirap at pinakahindi-maaasahang gamit ng ML sa markets. Ang ilan sa pinaka-mahalagang applications ay walang kinalaman sa forecasting ng susunod na candle:

• Market-regime detection. Ini-sort ng unsupervised clustering ang market conditions sa regimes — quiet trending, choppy mean-reverting, high-volatility panic. Ang pagkaalam kung alin na regime ka ay nagbibigay-daan sa iyo na magpalit ng strategy o magbawas ng size, na madalas na mas mahalaga kaysa sa kahit anong isang directional prediction.
• Sentiment analysis. Nagbabasa ang mga large language model ng balita, X/Twitter, at Discord sa scale na hindi kaya ng kahit anong tao, na nagsusukat ng mga pagbabago sa mood ng market. Palagiang ipinapakita ng research na ang pagsasama ng sentiment signal sa price data ay nagpapabuti ng crypto-prediction accuracy kaysa sa presyo lang — matindi ang pinagagalaw ng sentiment ang crypto.
• Fraud at manipulation detection. Dito tahimik na nag-shine ang ML. Nag-flag ang mga model ng wash trading, spoofing, at klasikong pump-and-dump schemes sa pagtukoy ng anomalous na volume at order-book patterns na nauunahan ang isang coordinated dump. Ang mga anomaly-detection model (LSTMs, Anomaly Transformers) ay maaasahang natatalo ang classical ML at simpleng statistical thresholds dito.
• Execution at slippage modeling. Hinuhulaan ng ML ang market impact ng isang malaking order, na tumutulong sa mga execution algorithm na hiwa-hiwain ito para mabawasan ang gastos. Sa isang 24/7 na venue tulad ng crypto, kung saan ang isang pabagsak na order ay puwedeng pagalawin ang book laban sa iyo, direktang pinoprotektahan nito ang bottom line mo.
• Risk at liquidation management. Tinatantya ng mga model ang probability na malampasan ng isang position ang risk threshold base sa kasalukuyang volatility, tumutulong sa pag-size ng positions at pag-set ng stops bago mangyari ang cascade sa halip na pagkatapos.

Ang tapat na edukasyon ay nangangahulugang pangalanan kung paano ito nasisira, dahil karaniwan itong nangyayari. Ang mga bitag na ito ay nagwasak ng mas maraming quant strategy kaysa sa lahat ng bear market kung pagsasamahin:

• Overfitting. Ang model ay nagmemorya sa training data sa halip na matuto ng anumang generalizable. Ang lunas ay disiplina, hindi katalinuhan: mas simpleng model, mas kaunting features, regularization, at walang-tigil na out-of-sample testing. Kung sobra ang maganda ng tingin ng backtest mo, sobra ito.
• Look-ahead bias. Ang paggamit ng impormasyon na hindi available sa sandali ng desisyon — ang pag-compute ng features sa buong dataset bago ito hatiin, ang paggamit ng mga presyong na-revise pagkatapos ng katotohanan, o (mas karaniwan kaysa sa inaamin ng sinuman) ang pag-iwan ng target variable sa feature set.
• Survivorship bias. Ang pagtrain lang sa mga asset na umiiral pa hanggang ngayon. Ang mga delisted na token, mga rugged project, at mga patay na coin ay tahimik na nawawala sa dataset mo, na nag-bias ng bawat resulta paitaas. Sa crypto malubha ito — libo-libong token ang naging zero.
• Non-stationarity. Nagbabago ang mga market distributions. Ang isang model na trained sa 2021 bull market ay nabibigo sa 2022 bear market dahil hindi na valid ang mga panuntunan na natutunan nito. Dapat mong retrain regularly at monitor ang distribution drift, hindi “set and forget.”
• Ang multiple-testing trap. Subukan ang 1,000 variations ng strategy at ilan ay kamukhang mahusay dahil sa purong suwerte. Ganito nangyari ang backtest na “$4.2 million” na iyon. Ang mga tool tulad ng Deflated Sharpe Ratio ay umiiral mismo para ibawas ang performance na natagpuan mo lang dahil sa sobrang paghanap.
• Ang research-to-production gap. Ipinagpapalagay ng mga backtest ang frictionless, instant fills. Nagpapataw ang mga live market ng slippage, fees, latency, at market impact na karaniwang inaalis ang 30–70% sa theoretical returns — at puwedeng gawing negative ang isang “profitable” na strategy.

May mas malalim na punto na nagtatago sa listahang ito. Ang markets ay isang adversarial, adaptive na system — ang bawat totoong edge ay nakakaakit ng mga kakumpitensya na nag-arbitrage dito hanggang mawala ito. Ang isang model na nananalo sa loob ng isang taon ay puwedeng tumigil na gumana sa buwan na maging crowded ito, hindi dahil sa kasalanan ng code nito. Ito ang dahilan kung bakit hindi naghahanap ang mga matagumpay na quant operation ng isang perpektong model; nagbubuo sila ng isang pipeline para patuloy na maghanap, mag-validate, at mag-retire ng mga edge habang umuunlad ang market.

Ang bawat quant skill na nabasa mo ay nakadepende muna sa isang bagay: malinis, maaasahang data. Dito nagtatagpo ang GaiaEx sa ML workflow mo. Dahil ang mga trade ay na-execute sa Hyperliquid L1, ang bawat fill, funding rate, at pagbabago sa order-book ay na-record on-chain at exposed sa GaiaEx API — nagbibigay sa iyo ng transparent, granular, real-time at historical na data nang walang mga gap at tahimik na revisions na kadalarasan sa maraming centralized na data feed.

Bakit mahalaga ang on-chain data para sa ML: ang isang model ay kasing-tapat lang ng mga input nito. Kapag ang training data mo ay nagmula sa isang transparent na L1 sa halip na isang black-box internal database, matitiwalaan mo na ang mga presyo at volumes na kinukuha mo ng aral ay ang mga presyo at volumes na talagang na-trade. Naaalis nito ang isang buong kategorya ng subtle na data-integrity bugs bago pa ito makaabot sa features mo.

Dapat sadyang simple ang unang project mo. Ang layunin ay hindi talunin ang market sa unang subok — ito ay bumuo ng isang kumpletong, walang-leak na pipeline na puwede mong iterate. Narito ang isang konkretong roadmap:

• Kolektahin ang 1-hour candle data para sa BTC/USDC mula sa API ng GaiaEx — hindi bababa sa 6 na buwan.
• I-engineer ang 10–15 features: lagged returns, RSI, ATR, volume ratio, Bollinger Band width.
• Label ang bawat bar: 1 kung positibo ang susunod na 4-hour return, 0 kung hindi.
• Magtrain ng isang LightGBM classifier gamit ang walk-forward validation — hindi kailanman random split.
• Suriin ang precision, recall, at ang Sharpe ratio ng isang simpleng strategy na long kapag pina-predict ng model ang 1, matapos ibawas ang realistic na fees.

Tapos — at ito ang bahaging linaktawan ng mga beginners — subukang sirain ito. Magdagdag ng purge gap at tingnan kung nabubuhay ang edge mo. Suriin kung may feature na tahimik na nagtatagas ng hinaharap. I-test ito sa ibang time window. Kung mawala ang edge sa ilalim ng scrutiny, natutunan mo ang isang totoong mahalagang bagay: na hindi ito totoo kailanman, at natuklasan mo ito nang libre sa halip na sa gastos ng capital mo.