Pengantar Machine Learning untuk Pasar Finansial

Pada tahun 2018, sebuah tim kuant menunjukkan ke dana mereka sebuah model yang mengubah $100,000 menjadi $4.2 juta dalam sebuah backtest. Kurva ekuitasnya adalah garis 45 derajat yang hampir sempurna. Sharpe ratio-nya 4.0 — lebih baik daripada hampir semua hedge fund dalam sejarah. Mereka menerapkannya dengan uang sungguhan.

Model itu merugi di minggu pertama, lalu terus berdarah selama tiga bulan sebelum mereka menutupnya. Model yang 'menghasilkan' $4.2 juta di atas kertas tidak menghasilkan apa-apa di dunia nyata. Tidak ada yang dipalsukan — tidak ada penipuan, tidak ada bug. Model itu sekadar menghafal masa lalu bukannya belajar apa pun tentang masa depan.

Cerita ini terulang begitu sering hingga punya nama: backtest overfitting, dan itu adalah alasan tunggal terbesar mengapa dana yang digerakkan machine learning gagal. Marcos López de Prado — yang telah mengelola miliaran dolar dalam strategi berbasis ML — mengatakannya secara terang-terangan: dengan cukup banyak percobaan, siapa pun bisa menghasilkan backtest yang indah dari noise murni. Pasar tidak peduli seberapa elegan neural network kamu.

Machine learning benar-benar mengubah cara pasar diperdagangkan. Tapi jarak antara model yang terlihat brilian dan model yang bertahan menghadapi pasar sesungguhnya sangatlah besar — dan belajar membedakannya adalah keseluruhan permainannya. Pelajaran ini mengajarkan kamu keduanya: cara membangun sistem ML yang menemukan keunggulan nyata, dan cara menghindari jebakan yang menghancurkan orang-orang yang melewatkan babak kedua.

Machine learning adalah ilmu yang membuat komputer belajar pola dari data tanpa diprogram secara eksplisit untuk setiap skenario. Daripada menulis aturan seperti 'beli ketika RSI turun di bawah 30,' kamu memberi algoritma ribuan contoh historis dan membiarkannya menemukan pola mana yang mendahului trade yang menguntungkan. Mesin ini melakukan generalisasi dari pengalaman — persis seperti trader berpengalaman mengembangkan intuisi, tapi dengan data yang jauh lebih banyak daripada yang bisa disimpan manusia mana pun di kepalanya.

Pasar finansial menghasilkan volume data yang mencengangkan: tick harga, snapshot order book, funding rate, aliran on-chain, skor sentimen, rilis makro. Strategi berbasis aturan tradisional hanya menangkap hubungan yang sudah dibayangkan pembuatnya. Model ML bisa mendeteksi interaksi nonlinear berdimensi tinggi di antara ratusan fitur sekaligus — hubungan yang tidak akan pernah terpikir untuk diuji oleh analis manusia.

Tapi pasar adalah lingkungan paling bermusuhan di seluruh dunia ML terapan, dan penting untuk jujur tentang alasannya. Kebanyakan breakthrough ML — pengenalan gambar, model bahasa — bekerja karena aturan yang mendasarinya tidak berubah. Seekor kucing terlihat seperti kucing baik fotonya diambil tahun 2010 atau 2026. Pasar adalah kebalikannya:

• Datanya tidak stasioner. 'Aturan' statistik pasar terus berubah seiring regime berganti. Model yang dilatih pada bull market yang tenang bisa aktif berbahaya di sebuah crash.
• Rasio sinyal-ke-noise-nya brutal. Dalam pengenalan gambar, hampir setiap piksel membawa informasi. Dalam return, sebagian besar pergerakan harga adalah noise. Kamu sedang menambang sinyal yang lemah di tengah lautan keacakan yang menderu.
• Kamu bersaing dengan lawan yang adaptif. Seekor kucing tidak mengubah penampilannya untuk mengelabui classifier kamu. Pada saat sebuah keunggulan pasar nyata menjadi populer, trader lain akan mengarbitrasenya hingga habis. Kesuksesan model kamu diam-diam mengikis keunggulannya sendiri.

Kabar baiknya: penghalangnya bukan lagi akses ke data atau komputasi. Platform seperti GaiaEx menyediakan akses API ke data pasar real-time dan historis di Hyperliquid L1, sehingga developer mana pun bisa mengumpulkan dataset yang dibutuhkan ML. Penghalang yang tersisa adalah pengetahuan — yang tepatnya disediakan pelajaran ini.

Machine learning bukan satu teknik — ia adalah keluarga pendekatan, masing-masing cocok untuk masalah berbeda. Dalam finance, ketiga paradigma utama memiliki aplikasi nyata.

Supervised learning adalah kuda beban utama. Kamu memberi model contoh yang berlabel: vektor fitur historis (input) dipasangkan dengan hasil yang diketahui (target), dan model belajar pemetaan dari satu ke yang lain. Dua sub-jenis mendominasi penggunaan finansial:

• Klasifikasi — memprediksi sebuah kategori. Apakah aset akan naik atau turun dalam satu jam ke depan? Apakah transaksi ini penipuan? Outputnya adalah label diskret, biasanya dengan probabilitas yang menyertainya.
• Regresi — memprediksi sebuah nilai kontinu. Berapa return 1 jam-nya? Berapa funding rate yang wajar? Outputnya adalah sebuah angka, dan model meminimalkan error prediksi.

Unsupervised learning menemukan struktur dalam data tanpa label. Algoritma clustering seperti K-Means bisa mengelompokkan hari-hari trading ke dalam regime pasar — trending, mean-reverting, volatilitas tinggi — tanpa kamu mendefinisikan regime tersebut sebelumnya. Reduksi dimensi seperti PCA mengompres ratusan fitur yang berkorelasi menjadi segelintir faktor independen, yang penting ketika set fitur kamu lebih luas daripada kedalaman sampelmu.

Reinforcement learning (RL) melatih sebuah agent untuk membuat sebuah rangkaian keputusan dengan memaksimalkan reward kumulatif. Agent tersebut berinteraksi dengan sebuah environment (pasar), mengambil aksi (beli, jual, tahan), dan menerima feedback (profit atau loss). RL menarik untuk alokasi portofolio dan eksekusi order, di mana aksi terbaik bergantung pada posisi kamu saat ini, biaya transaksi, dan dampak pasar. Agent bermain-game milik DeepMind menginspirasi gelombang riset RL finance — tapi hasil praktisnya masih bercampur, justru karena pasar bersifat non-stasioner dan 'permainannya' terus mengubah aturannya di tengah jalan.

Dalam machine learning, fitur (feature) adalah variabel input yang dipakai model untuk membuat prediksi. Data OHLCV mentah adalah titik awal, tapi memberikan harga mentah ke sebuah model itu seperti memberi seorang chef gandum mentah bukannya tepung — kamu harus memprosesnya dulu. Feature engineering adalah tempat keahlian domain bertemu data science, dan ini jauh lebih sering menjadi pembeda antara model yang bekerja dan yang tidak berguna daripada pilihan algoritma.

Kategori fitur umum untuk ML finansial meliputi:

• Indikator teknis — RSI, MACD, lebar Bollinger Band, ATR, ADX. Ini mengodekan momentum, volatilitas, dan kekuatan tren sebagai input yang terstandarisasi dan tidak bergantung skala.
• Fitur lag — return masa lalu di beberapa horizon (1-bar, 5-bar, 20-bar, 60-bar), menangkap momentum dan mean reversion pada skala waktu yang berbeda.
• Ukuran volatilitas — standar deviasi bergulir, volatilitas Parkinson (dari high/low), estimator Garman-Klass. Volatility clustering adalah salah satu fakta terstilisasi paling reliabel di seluruh dunia finance.
• Fitur volume — rasio volume (saat ini vs. rata-rata), on-balance volume, korelasi volume-harga. Volume yang tidak biasa sering mendahului pergerakan harga.
• Fitur lintas-aset — return BTC sebagai input saat memprediksi ETH. Korelasi yang bergeser antar aset sering menandakan perubahan regime sebelum harganya sendiri berubah.

Berikut contoh praktis mengengineer fitur dalam Python:

import pandas as pd
import numpy as np

def engineer_features(df: pd.DataFrame) -> pd.DataFrame:
    df["return_1h"] = df["close"].pct_change(1)
    df["return_4h"] = df["close"].pct_change(4)
    df["return_24h"] = df["close"].pct_change(24)
    df["volatility_24h"] = df["return_1h"].rolling(24).std()
    df["rsi_14"] = compute_rsi(df["close"], 14)
    df["volume_ratio"] = df["volume"] / df["volume"].rolling(24).mean()
    df["atr_14"] = compute_atr(df, 14)
    return df.dropna()

Dua aturan tidak bisa ditawar. Pertama, jangan pernah memakai data masa depan — setiap fitur harus bisa dihitung dari informasi yang tersedia pada saat prediksi dibuat. Cara paling umum untuk 'menemukan' strategi yang menguntungkan adalah secara tidak sengaja membiarkan angka besok bocor ke fitur hari ini. Kedua, normalisasi input kamu; kebanyakan model ML tersendat ketika fitur memiliki skala yang sangat berbeda (harga 60,000 di samping RSI 30).

Jika kamu mengingat satu hal dari seluruh pelajaran ini, jadikan yang ini: validasi ML standar sangat salah secara fatal untuk pasar finansial.

Dalam machine learning normal, kamu mengacak data kamu secara acak dan membaginya menjadi set train dan test. Lakukan itu dengan data harga time series dan kamu baru saja membiarkan model berlatih pada masa depan untuk memprediksi masa lalu. Akurasimu akan terlihat spektakuler. Trading langsungmu akan menjadi pembantaian. Kesalahan tunggal ini — dikenal sebagai look-ahead bias — bertanggung jawab atas lebih banyak strategi kuant yang meledak daripada crash pasar mana pun. Pendekatan yang benar selalu menghormati arah waktu:

Pembagian train/validation/test secara kronologis. Bagi data berdasarkan tanggal: train pada 2020–2022, validasi pada 2023, test pada 2024. Set test disentuh hanya satu kali — itu adalah simulasi trading langsung kamu. Pada saat kamu mengatur hyperparameter melawannya, ia berhenti menjadi set test dan kamu sudah kehilangan estimasi jujur atas performa out-of-sample.

Walk-forward validation (jendela yang meluas atau bergeser) lebih robust. Train pada bulan 1–12, prediksi bulan 13. Lalu train pada bulan 1–13 (atau 2–13), prediksi bulan 14. Ulangi. Ini menghasilkan banyak prediksi out-of-sample, masing-masing pada data yang belum pernah dilihat model, sambil beradaptasi dengan kondisi yang terus berubah — ini meniru bagaimana strategi tersebut sesungguhnya akan diterapkan dan dilatih ulang.

Purged cross-validation (diperkenalkan oleh Marcos López de Prado) menambahkan sebuah jarak (gap) antara fold training dan test untuk menghentikan informasi bocor melalui label yang saling tumpang tindih. Jika target kamu adalah return maju 24 jam, observasi di dekat batas fold berbagi informasi; jarak purge tersebut menghilangkan kontaminasi itu. Sebuah periode 'embargo' tambahan setelah fold test menjaga dari korelasi serial yang bocor balik ke dalam training.

Terakhir, nilai model berdasarkan metrik yang penting untuk uang, bukan untuk buku teks. Akurasi saja bisa menyesatkan. Model yang 51% akurat tapi benar pada pergerakan besar bisa sangat menguntungkan; model 70% akurat yang hanya benar pada pergerakan kecil bisa merugi setelah biaya. Lacak presisi pada panggilan arah kamu, Sharpe ratio dari strategi yang dihasilkan, dan drawdown maksimum — dan selalu setelah dikurangi biaya transaksi dan slippage yang realistis.

Untuk data finansial tabular — jenis yang kamu dapat dari candle OHLCV, indikator teknis, dan fitur yang diengineer — model ensemble berbasis tree secara konsisten mengungguli deep neural network. Ini bukan opini; ini adalah hasil empiris yang sudah mapan (lihat Grinsztajn et al., 2022, "Why do tree-based models still outperform deep learning on tabular data?"). Untuk gambar dan bahasa, deep learning berkuasa. Untuk sebuah tabel fitur, tree yang menang.

Random Forest membangun ratusan decision tree, masing-masing dilatih pada subset baris dan fitur yang acak, lalu merata-ratakan prediksinya. Perataan ini mengurangi varians dan overfitting. Mereka robust, butuh sedikit tuning, dan memberimu peringkat feature-importance bawaan — sangat berharga untuk memahami apa yang sesungguhnya menggerakkan model kamu.

Gradient Boosting (XGBoost, LightGBM, CatBoost) membangun tree secara berurutan, masing-masing mengoreksi error dari ensemble sebelumnya. Ini biasanya mengalahkan random forest dalam akurasi tapi membutuhkan tuning yang lebih teliti. LightGBM adalah pilihan default kebanyakan praktisi ML finansial: training yang cepat, penanganan nilai yang hilang secara native, dan skala dengan nyaman hingga jutaan baris.

import lightgbm as lgb
from sklearn.model_selection import TimeSeriesSplit

model = lgb.LGBMClassifier(
    n_estimators=500,
    max_depth=6,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    min_child_samples=50,
)

tscv = TimeSeriesSplit(n_splits=5)
for train_idx, val_idx in tscv.split(X):
    model.fit(X.iloc[train_idx], y.iloc[train_idx],
              eval_set=[(X.iloc[val_idx], y.iloc[val_idx])])

Deep learning tetap punya tempatnya — tapi yang sempit. LSTM dan Transformer bisa benar-benar menambah nilai pada data sekuensial mentah: order flow tick demi tick, atau menggabungkan harga dengan teks berita dan sentimen media sosial, di mana urutan dan konteks membawa informasi yang dibuang oleh tabel flat. Jangan langsung memakainya secara default. Untuk data terstruktur dengan fitur yang diengineer, LightGBM yang di-tuning dengan baik yang dilatih pada data yang diambil dari API GaiaEx hampir selalu akan mengalahkan neural network — dan ia berlatih dalam hitungan detik bukan jam.

Prediksi harga mendapat semua perhatian, tapi itu adalah penggunaan ML di pasar yang paling sulit dan paling tidak reliabel. Beberapa aplikasi paling berharga tidak ada hubungannya dengan meramalkan candle berikutnya:

• Deteksi regime pasar. Clustering unsupervised mengurutkan kondisi pasar ke dalam regime — trending tenang, mean-reverting yang bergejolak, panik volatilitas tinggi. Mengetahui regime mana yang sedang kamu hadapi memungkinkanmu beralih strategi atau memangkas ukuran, yang sering lebih berharga daripada prediksi arah tunggal mana pun.
• Analisis sentimen. Large language model membaca berita, X/Twitter, dan Discord pada skala yang tidak bisa dicapai manusia mana pun, memberi skor perubahan mood pasar. Riset secara konsisten menunjukkan bahwa menggabungkan sinyal sentimen dengan data harga meningkatkan akurasi prediksi crypto dibanding harga saja — sentimen menggerakkan crypto dengan tidak biasa kerasnya.
• Deteksi fraud dan manipulasi. Di sinilah ML diam-diam bersinar. Model menandai wash trading, spoofing, dan skema pump-and-dump klasik dengan mendeteksi pola volume dan order book yang anomali yang mendahului sebuah dump yang terkoordinasi. Model deteksi anomali (LSTM, Anomaly Transformer) secara reliabel mengalahkan baik ML klasik maupun ambang batas statistik sederhana di sini.
• Pemodelan eksekusi dan slippage. ML memprediksi dampak pasar dari sebuah order besar, membantu algoritma eksekusi memotongnya untuk meminimalkan biaya. Di platform 24/7 seperti crypto, di mana order yang ceroboh bisa menggerakkan order book melawanmu, ini secara langsung melindungi hasil akhirmu.
• Manajemen risiko dan likuidasi. Model memperkirakan probabilitas bahwa suatu posisi menembus ambang batas risiko berdasarkan volatilitas saat ini, membantu menentukan ukuran posisi dan mengatur stop sebelum terjadi cascade bukannya setelahnya.

Edukasi yang jujur berarti menyebutkan bagaimana ini bisa salah, karena biasanya memang begitu. Jebakan-jebakan ini telah menghancurkan lebih banyak strategi kuant daripada gabungan semua bear market:

• Overfitting. Model menghafal data training bukannya belajar apa pun yang bisa digeneralisasi. Obatnya adalah disiplin, bukan kecerdikan: model yang lebih sederhana, fitur yang lebih sedikit, regularisasi, dan pengujian out-of-sample yang tanpa ampun. Jika backtest kamu terlihat terlalu bagus untuk benar, memang begitu.
• Look-ahead bias. Memakai informasi yang tidak tersedia pada saat pengambilan keputusan — menghitung fitur pada seluruh dataset sebelum dibagi, memakai harga yang direvisi setelah kejadian, atau (lebih umum daripada yang mau diakui siapa pun) meninggalkan variabel target di dalam set fitur.
• Survivorship bias. Melatih hanya pada aset yang masih ada hari ini. Token yang di-delisting, proyek yang di-rug, dan koin mati diam-diam hilang dari dataset kamu, yang membiaskan setiap hasil ke arah atas. Di crypto ini parah — ribuan token telah anjlok menjadi nol.
• Non-stasioneritas. Distribusi pasar bergeser. Model yang dilatih pada bull market 2021 gagal di bear market 2022 karena aturan yang dipelajarinya tidak lagi berlaku. Kamu harus melatih ulang secara teratur dan memonitor distribution drift, bukan 'atur dan lupakan'.
• Jebakan multiple-testing. Coba 1,000 variasi strategi dan beberapa akan terlihat brilian murni karena keberuntungan. Beginilah cara backtest '$4.2 juta' itu terjadi. Alat seperti Deflated Sharpe Ratio ada khusus untuk mendiskon performa yang kamu temukan hanya dengan mencari cukup keras.
• Jarak riset-ke-produksi. Backtest mengasumsikan fill yang bebas friksi dan instan. Pasar langsung mengenakan slippage, biaya, latensi, dan dampak pasar yang secara rutin memotong 30–70% dari return teoretis — dan bisa membalik strategi yang 'menguntungkan' menjadi negatif.

Ada poin yang lebih dalam yang tersembunyi dalam daftar ini. Pasar adalah sistem adversarial dan adaptif — setiap keunggulan nyata menarik pesaing yang mengarbitrasenya hingga habis. Model yang menang selama setahun bisa berhenti bekerja pada bulan ia menjadi ramai, tanpa kesalahan apa pun pada kodenya. Inilah sebabnya operasi kuant yang sukses tidak mencari satu model sempurna; mereka membangun sebuah pipeline untuk terus menemukan, memvalidasi, dan mempensiunkan keunggulan seiring pasar berevolusi.

Setiap keahlian kuant yang telah kamu baca bergantung pada satu hal terlebih dulu: data yang bersih dan reliabel. Di sinilah GaiaEx cocok masuk ke workflow ML kamu. Karena trade dieksekusi di Hyperliquid L1, setiap fill, funding rate, dan perubahan order book tercatat on-chain dan diekspos melalui API GaiaEx — memberimu data real-time dan historis yang transparan dan terperinci tanpa gap dan revisi diam-diam yang menghantui banyak feed data terpusat.

Kenapa data on-chain penting untuk ML: sebuah model hanya sejujur input-nya. Ketika data training kamu berasal dari L1 yang transparan bukannya database internal yang black-box, kamu bisa percaya bahwa harga dan volume yang kamu pelajari adalah harga dan volume yang benar-benar diperdagangkan. Itu menghilangkan satu kategori penuh bug integritas data yang halus sebelum mereka mencapai fitur kamu.

Proyek pertamamu seharusnya secara sengaja sederhana. Tujuannya bukan mengalahkan pasar pada percobaan pertama — melainkan membangun pipeline yang lengkap dan bebas kebocoran yang bisa kamu iterasi. Berikut roadmap konkretnya:

• Kumpulkan data candle 1 jam untuk BTC/USDC dari API GaiaEx — setidaknya 6 bulan.
• Engineer 10–15 fitur: return yang di-lag, RSI, ATR, rasio volume, lebar Bollinger Band.
• Beri label setiap bar: 1 jika return 4 jam berikutnya positif, 0 jika tidak.
• Latih sebuah classifier LightGBM memakai validasi walk-forward — jangan pernah pembagian acak.
• Evaluasi presisi, recall, dan Sharpe ratio dari sebuah strategi sederhana yang mengambil posisi long ketika model memprediksi 1, setelah dikurangi biaya yang realistis.

Lalu — dan ini bagian yang dilewatkan pemula — coba untuk memecahkannya. Tambahkan sebuah purge gap dan lihat apakah keunggulanmu bertahan. Periksa apakah ada fitur yang secara diam-diam membocorkan masa depan. Uji pada jendela waktu yang berbeda. Jika keunggulannya menguap di bawah pemeriksaan, kamu telah belajar sesuatu yang sungguh berharga: bahwa itu tidak pernah nyata, dan kamu mengetahuinya secara gratis bukannya dengan modalmu sendiri.