फाइनेंशियल मार्केट्स के लिए मशीन लर्निंग का परिचय

2018 में, एक क्वांट टीम ने अपने फंड को एक ऐसा मॉडल दिखाया जिसने एक बैकटेस्ट में $100,000 को $4.2 मिलियन बना दिया था। इक्विटी कर्व लगभग एक सटीक 45-डिग्री लाइन थी। शार्प रेशियो 4.0 था — इतिहास के लगभग किसी भी हेज फंड से बेहतर। उन्होंने इसे असली पैसे के साथ डिप्लॉय कर दिया।

पहले हफ्ते में इसने पैसा खोया, फिर तीन महीनों तक खून बहता रहा, जब तक उन्होंने इसे बंद नहीं कर दिया। जिस मॉडल ने कागज़ पर $4.2 मिलियन “कमाए”, उसने असलियत में कुछ नहीं कमाया। कुछ भी नकली नहीं बनाया गया था — कोई धोखाधड़ी नहीं, कोई बग नहीं। मॉडल ने भविष्य के बारे में कुछ सीखने के बजाय बस अतीत को याद कर लिया था।

यह कहानी इतनी बार दोहराई गई है कि इसका एक नाम है: बैकटेस्ट ओवरफिटिंग, और यही मशीन-लर्निंग फंड फेल होने का सबसे बड़ा कारण है। Marcos López de Prado — जिन्होंने अरबों डॉलर की ML-आधारित स्ट्रैटेजियाँ चलाई हैं — ने इसे साफ़ शब्दों में कहा: पर्याप्त कोशिशों के साथ, कोई भी शुद्ध नॉइज़ पर एक सुंदर बैकटेस्ट बना सकता है। मार्केट को इससे कोई फ़र्क नहीं पड़ता कि आपका न्यूरल नेटवर्क कितना सुंदर है।

मशीन लर्निंग सचमुच बदल रही है कि मार्केट कैसे ट्रेड होते हैं। पर एक ऐसे मॉडल के बीच जो दिखने में शानदार है, और एक ऐसे मॉडल के बीच जो लाइव मार्केट के संपर्क में आकर बचा रहता है, फ़र्क बहुत बड़ा है — और इनमें फ़र्क करना सीखना ही पूरा खेल है। यह लेसन आपको दोनों सिखाता है: असली बढ़त ढूँढने वाले ML सिस्टम कैसे बनाएँ, और उन जालों से कैसे बचें जो उन लोगों को तबाह करते हैं जो दूसरा हिस्सा छोड़ देते हैं।

मशीन लर्निंग कंप्यूटरों को डेटा से पैटर्न सीखने की साइंस है, बिना हर परिस्थिति के लिए खुलकर प्रोग्राम किए। “RSI 30 से नीचे जाए तो खरीदो” जैसा नियम लिखने के बजाय, आप एल्गोरिथ्म को हज़ारों ऐतिहासिक उदाहरण देते हैं और उसे यह खुद खोजने देते हैं कि कौन-से पैटर्न मुनाफ़ेदार ट्रेडों से पहले आते हैं। मशीन अनुभव से सामान्यीकरण करती है — ठीक जैसे एक अनुभवी ट्रेडर सहज-ज्ञान विकसित करता है, पर इससे कहीं ज़्यादा डेटा पर जितना कोई इंसान अपने दिमाग में रख सकता है।

फाइनेंशियल मार्केट इसकी हैरतअंगेज़ मात्रा पैदा करते हैं: प्राइस टिक्स, ऑर्डर-बुक स्नैपशॉट, फंडिंग रेट, ऑन-चेन फ्लो, सेंटिमेंट स्कोर, मैक्रो रिलीज़। ट्रेडिशनल रूल-आधारित स्ट्रैटेजियाँ सिर्फ़ उन रिश्तों को पकड़ती हैं जो उनके बनाने वाले ने पहले ही सोचे थे। ML मॉडल सैंकड़ों फीचर्स में एक साथ नॉनलीनियर, हाई-डाइमेंशनल इंटरैक्शन पकड़ सकते हैं — ऐसे रिश्ते जिन्हें एक इंसानी एनालिस्ट कभी टेस्ट करने के बारे में सोचता भी नहीं।

पर मार्केट अप्लाइड ML के लिए सबसे नामुराद माहौल हैं, और इसकी वजह जानना ज़रूरी है। ज़्यादातर ML की छलांगें — इमेज रिकग्निशन, लैंग्वेज मॉडल — इस वजह से काम करती हैं क्योंकि उनके अंदरूनी नियम नहीं हिलते। एक बिल्ली, बिल्ली जैसी दिखती है, भले फोटो 2010 में ली गई हो या 2026 में। मार्केट इसके ठीक उलट हैं:

• डेटा स्थिर नहीं है। मार्केट के सांख्यिकीय “नियम” रेजीम बदलने के साथ लगातार हिलते रहते हैं। एक शांत बुल मार्केट पर ट्रेन किया मॉडल क्रैश में सचमुच खतरनाक हो सकता है।
• सिग्नल-टू-नॉइज़ रेशियो बहुत खराब है। इमेज रिकग्निशन में, लगभग हर पिक्सल कोई सूचना ले जाता है। रिटर्न में, ज़्यादातर कीमत की हलचल नॉइज़ ही होती है। आप बेतरतीबी के गरजते समुंदर में एक हल्का-सा सिग्नल खोद रहे होते हैं।
• आप अनुकूल होने वाले विरोधियों से मुक़ाबला कर रहे हैं। एक बिल्ली आपके क्लासिफायर को धोखा देने के लिए अपना रूप नहीं बदलती। जिस पल एक असली मार्केट बढ़त लोकप्रिय होती है, दूसरे ट्रेडर आर्बिट्राज करके उसे मिटा देते हैं। आपके मॉडल की कामयाबी चुपचाप उसकी अपनी बढ़त को घटा देती है।

अच्छी खबर यह है: अब रुकावट डेटा या कंप्यूट तक पहुँच नहीं है। GaiaEx जैसे प्लेटफॉर्म Hyperliquid L1 पर रीयल-टाइम और ऐतिहासिक मार्केट डेटा तक API एक्सेस देते हैं, तो कोई भी डेवलपर वे डेटासेट इकट्ठा कर सकता है जिनकी ML को ज़रूरत है। बची हुई रुकावट है ज्ञान — और यही यह लेसन आपको देता है।

मशीन लर्निंग एक तकनीक नहीं है — यह तरीकों का एक परिवार है, हर एक अलग समस्याओं के लिए उपयुक्त। फाइनेंस में, सभी तीन बड़े पैराडाइम की असली एप्लीकेशन हैं।

सुपरवाइज़्ड लर्निंग सबसे भरोसेमंद है। आप मॉडल को लेबल किए हुए उदाहरण देते हैं: ऐतिहासिक फीचर वेक्टर (इनपुट) पहले से पता आउटकम (टारगेट) के साथ जोड़े गए, और वह एक से दूसरे तक एक मैपिंग सीखता है। फाइनेंशियल इस्तेमाल में दो सब-टाइप छाए रहते हैं:

• क्लासिफिकेशन — एक कैटेगरी की भविष्यवाणी करना। क्या एसेट अगले घंटे में चढ़ेगा या गिरेगा? क्या यह ट्रांज़ैक्शन धोखाधड़ी है? आउटपुट एक असतत (discrete) लेबल होता है, आम तौर पर एक जुड़ी हुई प्रोबेबिलिटी के साथ।
• रिग्रेशन — एक निरंतर मान (continuous value) की भविष्यवाणी करना। 1-घंटे का रिटर्न क्या होगा? फेयर फंडिंग रेट क्या है? आउटपुट एक नंबर होता है, और मॉडल भविष्यवाणी की गलती को कम करता है।

अनसुपरवाइज़्ड लर्निंग डेटा में बिना लेबल के संरचना ढूँढती है। K-Means जैसे क्लस्टरिंग एल्गोरिथ्म ट्रेडिंग दिनों को मार्केट रेजीम में बाँट सकते हैं — ट्रेंडिंग, मीन-रिवर्टिंग, हाई-वोलैटिलिटी — बिना आपके पहले से उन रेजीम को तय किए। PCA जैसी डाइमेंशनैलिटी रिडक्शन सैंकड़ों co-related फीचर्स को मुट्ठी भर इंडिपेंडेंट फैक्टरों में सिकोड़ देती है, जो तब अहम होता है जब आपका फीचर सेट आपके सैंपल से ज़्यादा गहरा हो।

रीइन्फोर्समेंट लर्निंग (RL) एक एजेंट को cumulative reward को अधिकतम करके फ़ैसलों का एक क्रम लेने के लिए ट्रेन करती है। एजेंट एक एनवायरनमेंट (मार्केट) से इंटरैक्ट करता है, एक्शन लेता है (खरीदो, बेचो, रखो), और फीडबैक पाता है (मुनाफ़ा या नुकसान)। RL पोर्टफोलियो एलोकेशन और ऑर्डर एग्ज़िक्यूशन के लिए आकर्षक है, जहाँ सबसे अच्छा एक्शन आपकी मौजूदा पोज़िशन, ट्रांज़ैक्शन लागत, और मार्केट इम्पैक्ट पर निर्भर करता है। DeepMind के गेम-खेलने वाले एजेंट ने फाइनेंस RL रिसर्च की एक लहर को प्रेरित किया — पर व्यावहारिक नतीजे मिले-जुले हैं, ठीक इसलिए क्योंकि मार्केट नॉन-स्टेशनरी हैं और वह “गेम” बीच में ही अपने नियम बदलता रहता है।

मशीन लर्निंग में, फीचर्स वे इनपुट वेरिएबल हैं जिन्हें मॉडल भविष्यवाणी करने के लिए इस्तेमाल करता है। कच्चा OHLCV डेटा एक शुरुआती बिंदु है, पर किसी मॉडल में कच्ची कीमतें डालना ठीक वैसा है जैसे किसी शेफ को आटे के बजाय कच्चा गेहूँ थमा देना — इसे पहले प्रोसेस करना पड़ता है। फीचर इंजीनियरिंग वहाँ है जहाँ डोमेन की जानकारी डेटा साइंस से मिलती है, और यह अक्सर एल्गोरिथ्म के चुनाव से ज़्यादा तय करती है कि मॉडल काम करेगा या बेकार होगा।

फाइनेंशियल ML के लिए सामान्य फीचर कैटेगरी में शामिल हैं:

• टेक्निकल इंडिकेटर — RSI, MACD, बोलिंगर बैंड की चौड़ाई, ATR, ADX। ये मोमेंटम, वोलैटिलिटी, और ट्रेंड की ताकत को मानकीकृत, स्केल-इनवेरिएंट इनपुट के रूप में एनकोड करते हैं।
• लैग फीचर्स — कई समय-सीमाओं पर पिछले रिटर्न (1-बार, 5-बार, 20-बार, 60-बार), जो अलग-अलग टाइमस्केल पर मोमेंटम और मीन रिवर्जन पकड़ते हैं।
• वोलैटिलिटी माप — रोलिंग स्टैंडर्ड डेविएशन, Parkinson वोलैटिलिटी (हाई/लो से), Garman-Klass एस्टिमेटर। वोलैटिलिटी क्लस्टरिंग पूरे फाइनेंस में सबसे भरोसेमंद स्थापित तथ्यों में से एक है।
• वॉल्यूम फीचर्स — वॉल्यूम रेशियो (मौजूदा बनाम औसत), on-balance वॉल्यूम, वॉल्यूम-प्राइस कोरिलेशन। असामान्य वॉल्यूम अक्सर प्राइस की हलचल से पहले आता है।
• क्रॉस-एसेट फीचर्स — ETH की भविष्यवाणी करते समय इनपुट के रूप में BTC का रिटर्न। एसेट के बीच बदलते कोरिलेशन अक्सर रेजीम बदलाव की खबर कीमत से भी पहले दे देते हैं।

यहाँ Python में फीचर इंजीनियरिंग का एक व्यावहारिक उदाहरण है:

import pandas as pd
import numpy as np

def engineer_features(df: pd.DataFrame) -> pd.DataFrame:
    df["return_1h"] = df["close"].pct_change(1)
    df["return_4h"] = df["close"].pct_change(4)
    df["return_24h"] = df["close"].pct_change(24)
    df["volatility_24h"] = df["return_1h"].rolling(24).std()
    df["rsi_14"] = compute_rsi(df["close"], 14)
    df["volume_ratio"] = df["volume"] / df["volume"].rolling(24).mean()
    df["atr_14"] = compute_atr(df, 14)
    return df.dropna()

दो नियम गैर-परक्राम्य हैं। पहला, कभी भविष्य के डेटा का इस्तेमाल न करें — हर फीचर वह होना चाहिए जिसे भविष्यवाणी के पल पर उपलब्ध सूचना से कंप्यूट किया जा सके। एक मुनाफ़ेदार स्ट्रैटेजी “खोजने” का सबसे आम तरीका है, गलती से कल के नंबर को आज के फीचर में रिसने देना। दूसरा, अपने इनपुट को नॉर्मलाइज़ करें; ज़्यादातर ML मॉडल तब गड़बड़ करते हैं जब फीचर बेहद अलग स्केल में फैले होते हैं (60,000 की एक कीमत, 30 के RSI के बगल में)।

अगर इस पूरे लेसन से आपको एक ही बात याद रखनी हो, तो यह रखें: स्टैंडर्ड ML वैलिडेशन फाइनेंशियल मार्केट के लिए बुरी तरह गलत है।

सामान्य मशीन लर्निंग में, आप अपना डेटा बेतरतीब ढंग से शफल करते हैं और उसे ट्रेन और टेस्ट सेट में बाँट देते हैं। टाइम-सीरीज़ प्राइस डेटा के साथ ऐसा करें, तो आपने मॉडल को अतीत की भविष्यवाणी करने के लिए भविष्य पर ट्रेन होने दिया है। आपकी सटीकता शानदार दिखेगी। आपकी लाइव ट्रेडिंग एक कसाईखाना होगी। यह एक गलती — जिसे look-ahead bias कहा जाता है — किसी भी मार्केट क्रैश से ज़्यादा क्वांट स्ट्रैटेजियों को तबाह कर चुकी है। सही तरीका हमेशा समय की दिशा का सम्मान करता है:

कालक्रम-अनुसार (chronological) ट्रेन/वैलिडेशन/टेस्ट बँटवारा। डेटा को तारीख से बाँटें: 2020–2022 पर ट्रेन करें, 2023 पर वैलिडेट करें, 2024 पर टेस्ट करें। टेस्ट सेट को ठीक एक बार छूना है — यह आपकी लाइव ट्रेडिंग का सिमुलेशन है। जिस पल आप उसके खिलाफ़ हाइपरपैरामीटर ट्यून करना शुरू करते हैं, वह टेस्ट सेट होना बंद कर देता है और आउट-ऑफ-सैंपल परफॉर्मेंस का कोई भी ईमानदार अनुमान खो जाता है।

Walk-forward वैलिडेशन (expanding या sliding window) ज़्यादा मज़बूत है। महीने 1–12 पर ट्रेन करें, महीना 13 प्रेडिक्ट करें। फिर महीने 1–13 (या 2–13) पर ट्रेन करें, महीना 14 प्रेडिक्ट करें। दोहराते जाएँ। इससे कई आउट-ऑफ-सैंपल भविष्यवाणियाँ बनती हैं, हर एक उस डेटा पर जो मॉडल ने कभी नहीं देखा, जबकि यह बदलती परिस्थितियों के साथ अनुकूल भी होता है — यह उसी तरह प्रतिबिंबित करता है जैसे यह स्ट्रैटेजी असल में डिप्लॉय और रीट्रेन की जाएगी।

Purged क्रॉस-वैलिडेशन (Marcos López de Prado द्वारा पेश की गई) ट्रेनिंग और टेस्ट फोल्ड के बीच एक गैप जोड़ती है, ताकि ओवरलैपिंग लेबल के ज़रिए सूचना का रिसाव रुक जाए। अगर आपका टारगेट 24-घंटे का फॉरवर्ड रिटर्न है, तो फोल्ड सीमा के पास मौजूद ऑब्ज़र्वेशन सूचना साझा करते हैं; purge gap उस गंदगी को हटा देता है। टेस्ट फोल्ड के बाद एक अतिरिक्त “embargo” पीरियड सीरियल कोरिलेशन को ट्रेनिंग में वापस रिसने से रोकता है।

आखिर में, मॉडल को उन मीट्रिक्स पर जज करें जो पैसे के लिए अहम हैं, किताबों के लिए नहीं। सिर्फ़ सटीकता (accuracy) भ्रामक है। एक मॉडल जो 51% सटीक है, पर बड़ी हलचलों पर सही है, बेहद मुनाफ़ेदार हो सकता है; एक 70%-सटीक मॉडल जो सिर्फ़ छोटी हलचलें ठीक पकड़ता है, फीस के बाद पैसा खो सकता है। अपने डायरेक्शनल कॉल पर precision, नतीजे में मिली स्ट्रैटेजी का शार्प रेशियो, और अधिकतम ड्रॉडाउन ट्रैक करें — और हमेशा असली ट्रांज़ैक्शन लागत और स्लिपेज घटाकर।

टेबुलर फाइनेंशियल डेटा के लिए — जैसा आपको OHLCV कैंडल, टेक्निकल इंडिकेटर, और इंजीनियर किए हुए फीचर्स से मिलता है — ट्री-आधारित एन्सेम्बल मॉडल लगातार डीप न्यूरल नेटवर्क से बेहतर प्रदर्शन करते हैं। यह कोई राय नहीं है; यह एक भली-भाँति स्थापित एम्पिरिकल नतीजा है (देखें Grinsztajn et al., 2022, “Why do tree-based models still outperform deep learning on tabular data?”)। इमेज और भाषा के लिए, डीप लर्निंग हुक्मरानी करती है। फीचर्स की एक टेबल के लिए, ट्री जीतते हैं।

रैंडम फॉरेस्ट सैंकड़ों डिसीज़न ट्री बनाते हैं, हर एक रो और फीचर के एक रैंडम सबसेट पर ट्रेन किया जाता है, फिर उनकी भविष्यवाणियों का औसत निकाला जाता है। यह औसत निकालना variance और overfitting को कम करता है। ये मज़बूत हैं, बहुत कम ट्यूनिंग चाहते हैं, और आपको बिल्ट-इन फीचर-इम्पॉर्टेंस रैंकिंग देते हैं — यह समझने के लिए बेहद कीमती कि क्या वास्तव में आपके मॉडल को चला रहा है।

ग्रेडिएंट बूस्टिंग (XGBoost, LightGBM, CatBoost) ट्री को क्रमवार बनाती है, हर एक अब तक के एन्सेम्बल की गलतियों को ठीक करता है। यह सामान्यतः सटीकता में रैंडम फॉरेस्ट को हरा देता है, पर ज़्यादा सावधान ट्यूनिंग की मांग करता है। LightGBM ज़्यादातर फाइनेंशियल ML प्रैक्टिशनरों के लिए डिफॉल्ट चुनाव है: तेज़ ट्रेनिंग, missing values की देशी हैंडलिंग, और यह लाखों रो तक आराम से स्केल होता है।

import lightgbm as lgb
from sklearn.model_selection import TimeSeriesSplit

model = lgb.LGBMClassifier(
    n_estimators=500,
    max_depth=6,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    min_child_samples=50,
)

tscv = TimeSeriesSplit(n_splits=5)
for train_idx, val_idx in tscv.split(X):
    model.fit(X.iloc[train_idx], y.iloc[train_idx],
              eval_set=[(X.iloc[val_idx], y.iloc[val_idx])])

डीप लर्निंग की अब भी अपनी जगह है — पर एक संकरी जगह। LSTM और Transformer कच्चे सीक्वेंशियल डेटा पर सचमुच वैल्यू जोड़ सकते हैं: टिक-दर-टिक ऑर्डर फ्लो, या न्यूज़ और सोशल-मीडिया सेंटिमेंट के टेक्स्ट के साथ कीमत को जोड़ना, जहाँ क्रम और कॉन्टेक्स्ट वह सूचना ले जाते हैं जिसे फ्लैट टेबल छोड़ देती हैं। पर डिफॉल्ट रूप से इनकी तरफ न भागें। स्ट्रक्चर्ड डेटा और इंजीनियर किए हुए फीचर्स के लिए, GaiaEx के API से खींचे डेटा पर ट्रेन किया एक अच्छी तरह ट्यून किया LightGBM लगभग हमेशा एक न्यूरल नेटवर्क को हरा देगा — और यह घंटों के बजाय सेकंडों में ट्रेन होता है।

प्राइस प्रेडिक्शन सारा ध्यान खींच लेता है, पर मार्केट में ML का यह इस्तेमाल सबसे कठिन और सबसे कम भरोसेमंद है। कुछ सबसे कीमती एप्लीकेशन का अगले कैंडल की भविष्यवाणी करने से कोई लेना-देना नहीं है:

• मार्केट-रेजीम डिटेक्शन। अनसुपरवाइज़्ड क्लस्टरिंग मार्केट की स्थितियों को रेजीम में बाँट देती है — शांत ट्रेंडिंग, अस्थिर मीन-रिवर्टिंग, हाई-वोलैटिलिटी घबराहट। यह जानना कि आप किस रेजीम में हैं, आपको स्ट्रैटेजी बदलने या साइज़ काटने देता है, जो अक्सर किसी भी एक डायरेक्शनल भविष्यवाणी से ज़्यादा कीमती होता है।
• सेंटिमेंट एनालिसिस। लार्ज लैंग्वेज मॉडल न्यूज़, X/Twitter, और Discord को एक ऐसे स्केल पर पढ़ते हैं जो कोई इंसान नहीं कर सकता, मार्केट के मूड में बदलावों को स्कोर करते हुए। रिसर्च लगातार दिखाती है कि सेंटिमेंट सिग्नल को प्राइस डेटा के साथ जोड़ना सिर्फ़ प्राइस के मुक़ाबले क्रिप्टो-प्रेडिक्शन की सटीकता को बेहतर बनाता है — सेंटिमेंट क्रिप्टो को असामान्य रूप से ज़ोर से हिलाता है।
• धोखाधड़ी और मैनिपुलेशन डिटेक्शन। यहीं ML चुपचाप चमकता है। मॉडल असामान्य वॉल्यूम और ऑर्डर-बुक पैटर्न को पहचान कर वॉश ट्रेडिंग, स्पूफिंग, और क्लासिक पंप-एंड-डंप स्कीमों को फ्लैग करते हैं, जो एक संगठित डंप से पहले दिखते हैं। एनोमली-डिटेक्शन मॉडल (LSTM, Anomaly Transformer) यहाँ क्लासिकल ML और साधारण सांख्यिकीय सीमाओं दोनों को भरोसेमंद तरीके से हरा देते हैं।
• एग्ज़िक्यूशन और स्लिपेज मॉडलिंग। ML किसी बड़े ऑर्डर के मार्केट इम्पैक्ट की भविष्यवाणी करता है, जिससे एग्ज़िक्यूशन एल्गोरिथ्म उसे लागत कम करने के लिए टुकड़ों में काट सकते हैं। क्रिप्टो जैसे 24/7 वेन्यू पर, जहाँ एक फूहड़ ऑर्डर बुक को आपके खिलाफ़ हिला सकता है, यह सीधे आपकी बॉटम लाइन की रक्षा करता है।
• रिस्क और लिक्विडेशन मैनेजमेंट। मॉडल यह अनुमान लगाते हैं कि मौजूदा वोलैटिलिटी को देखते हुए किसी पोज़िशन के रिस्क थ्रेशोल्ड को पार करने की संभावना क्या है, जिससे किसी कैस्केड से पहले, बाद में नहीं, पोज़िशन का साइज़ तय करने और स्टॉप सेट करने में मदद मिलती है।

ईमानदार शिक्षा का मतलब है यह नाम देना कि यह कैसे गलत होता है, क्योंकि यह अक्सर होता है। इन जालों ने हर बेयर मार्केट को मिलाकर उससे भी ज़्यादा क्वांट स्ट्रैटेजियाँ तबाह की हैं:

• ओवरफिटिंग। मॉडल किसी भी सामान्यीकृत करने लायक चीज़ सीखने के बजाय ट्रेनिंग डेटा को याद कर लेता है। इलाज है अनुशासन, कोई चतुराई नहीं: सरल मॉडल, कम फीचर्स, regularization, और सख़्त आउट-ऑफ-सैंपल टेस्टिंग। अगर आपका बैकटेस्ट सच होने के लिए बहुत अच्छा लगता है, तो वह है।
• Look-ahead bias। उस सूचना का इस्तेमाल करना जो फ़ैसले के समय उपलब्ध नहीं थी — बँटवारे से पहले पूरे डेटासेट पर फीचर कंप्यूट करना, बाद में संशोधित की गई कीमतें इस्तेमाल करना, या (जितना कोई मानता है उससे कहीं ज़्यादा आम) टारगेट वेरिएबल को फीचर सेट में ही छोड़ देना।
• Survivorship bias। सिर्फ़ उन एसेट पर ट्रेन करना जो आज भी मौजूद हैं। डीलिस्ट किए गए टोकन, rugged प्रोजेक्ट, और मर चुके कॉइन चुपचाप आपके डेटासेट से गायब रहते हैं, जो हर नतीजे को ऊपर की ओर पूर्वाग्रहित करता है। क्रिप्टो में यह गंभीर है — हज़ारों टोकन शून्य पर जा चुके हैं।
• Non-stationarity। मार्केट डिस्ट्रिब्यूशन बदलते हैं। 2021 के बुल मार्केट पर ट्रेन किया मॉडल 2022 के बेयर मार्केट में फेल हो जाता है क्योंकि जो नियम उसने सीखे थे, वे अब लागू नहीं होते। आपको नियमित रूप से रीट्रेन करना और डिस्ट्रिब्यूशन ड्रिफ्ट पर मॉनिटर करना पड़ता है, “सेट करो और भूल जाओ” नहीं चलता।
• Multiple-testing का जाल। 1,000 स्ट्रैटेजी वैरिएशन आज़माएँ, और कुछ शुद्ध किस्मत से शानदार दिखेंगी। वही “$4.2 मिलियन” वाला बैकटेस्ट इसी तरह बनता है। Deflated Sharpe Ratio जैसे टूल खासतौर पर उस परफॉर्मेंस को डिस्काउंट करने के लिए बनाए गए हैं जो आपको सिर्फ़ काफ़ी खोजबीन करके मिली।
• रिसर्च-से-प्रोडक्शन का गैप। बैकटेस्ट फ्रिक्शनलेस, इंस्टेंट फिल्स मान लेते हैं। लाइव मार्केट स्लिपेज, फीस, लेटेंसी, और मार्केट इम्पैक्ट लगाते हैं जो रुटीन तौर पर सैद्धांतिक रिटर्न से 30–70% छील लेते हैं — और एक “मुनाफ़ेदार” स्ट्रैटेजी को नुकसानदेह में बदल सकते हैं।

इस लिस्ट में एक गहरी बात छुपी है। मार्केट एक प्रतिकूल, अनुकूल होता सिस्टम हैं — हर असली बढ़त प्रतिस्पर्धियों को खींचती है जो आर्बिट्राज करके उसे मिटा देते हैं। एक मॉडल जो एक साल जीतता है, बिना अपने कोड की किसी गलती के, उस महीने काम करना बंद कर सकता है जब यह भीड़भरा हो जाता है। इसी वजह से कामयाब क्वांट ऑपरेशन एक परफेक्ट मॉडल नहीं खोजते; वे एक पाइपलाइन बनाते हैं, जो मार्केट के बदलने के साथ लगातार नई बढ़त खोजती, वैलिडेट करती, और पुरानी बढ़त को रिटायर करती रहे।

वह हर क्वांट स्किल जिसके बारे में आपने पढ़ा है, पहले एक चीज़ पर निर्भर करती है: साफ़, भरोसेमंद डेटा। यहीं GaiaEx आपके ML वर्कफ्लो में फिट होता है। क्योंकि ट्रेड Hyperliquid L1 पर एग्ज़िक्यूट होते हैं, हर फिल, फंडिंग रेट, और ऑर्डर-बुक बदलाव ऑन-चेन दर्ज होता है और GaiaEx के API के ज़रिए दिखता है — जिससे आपको पारदर्शी, बारीक, रीयल-टाइम और ऐतिहासिक डेटा मिलता है, बिना उन गैप और चुपचाप हुए संशोधनों के जो कई सेंट्रलाइज़्ड डेटा फीड को परेशान करते हैं।

ML के लिए ऑन-चेन डेटा क्यों अहम है: एक मॉडल सिर्फ़ अपने इनपुट जितना ईमानदार होता है। जब आपका ट्रेनिंग डेटा किसी काली-पेटी वाले इंटरनल डेटाबेस के बजाय एक पारदर्शी L1 से आता है, तो आप भरोसा कर सकते हैं कि जिन कीमतों और वॉल्यूम से आप सीख रहे हैं, वे ही असल में ट्रेड हुई कीमतें और वॉल्यूम हैं। यह डेटा-इंटीग्रिटी बग की एक पूरी कैटेगरी को आपके फीचर तक पहुँचने से पहले ही हटा देता है।

आपका पहला प्रोजेक्ट जान-बूझकर सरल होना चाहिए। मकसद यह नहीं है कि पहली ही कोशिश में मार्केट को हरा दिया जाए — यह है कि एक पूरी, लीक-मुक्त पाइपलाइन बनाई जाए जिस पर आप आगे काम कर सकें। यहाँ एक ठोस रोडमैप है:

• GaiaEx के API से BTC/USDC का 1-घंटे का कैंडल डेटा इकट्ठा करें — कम से कम 6 महीने।
• 10–15 फीचर इंजीनियर करें: lagged returns, RSI, ATR, वॉल्यूम रेशियो, बोलिंगर बैंड की चौड़ाई।
• हर बार को लेबल करें: अगला 4-घंटे का रिटर्न पॉज़िटिव हो तो 1, नहीं तो 0।
• walk-forward वैलिडेशन इस्तेमाल करके एक LightGBM क्लासिफायर ट्रेन करें — कभी रैंडम स्प्लिट नहीं।
• एक सरल स्ट्रैटेजी का precision, recall, और शार्प रेशियो जाँचें, जो मॉडल के 1 प्रेडिक्ट करने पर लॉन्ग जाती है, असली फीस घटाने के बाद।

फिर — और यह वह हिस्सा है जो शुरुआती लोग छोड़ देते हैं — इसे तोड़ने की कोशिश करें। एक purge gap जोड़ें और देखें कि आपकी बढ़त बच पाती है या नहीं। जाँचें कि क्या कोई फीचर चुपचाप भविष्य को रिसा रहा है। इसे किसी अलग टाइम विंडो पर टेस्ट करें। अगर जाँच में बढ़त गायब हो जाए, तो आपने कुछ सचमुच कीमती सीख लिया है: कि वह कभी असली नहीं थी, और आपने इसे मुफ़्त में जान लिया, अपनी पूंजी से नहीं।