Қаржы нарықтары үшін машиналық оқытуға кіріспе

2018 жылы бір квант командасы қорына бэктестте $100 000-ды $4.2 миллионға айналдырған үлгіні көрсетті. Меншікті капитал қисығы 45 градусты дерлік мінсіз түзу еді. Шарп коэффициенті 4.0 — тарихтағы дерлік әрбір хедж-қордан жоғары. Олар үлгіні нақты ақшамен іске қосты.

Ол бірінші аптада ақша жоғалтты, содан кейін жабылғанша үш ай бойы қан кетірді. Қағазда $4.2 миллион «жасаған» үлгі нақты өмірде ешнәрсе жасамады. Ешнәрсе жалғанданбаған — алаяқтық жоқ, қате жоқ. Үлгі болашақ туралы бірдеңе үйренудің орнына жай ғана өткенді жаттап алды.

Бұл оқиға сонша жиі қайталанады, ол өз атын алды: бэктест артық сай келуі (overfitting), ал бұл машина оқуы қорларының сәтсіздігінің жалғыз ең үлкен себебі. Миллиардтаған долларды ML-негізіндегі стратегиялармен басқарған Маркос Лопес де Прадо мұны тура айтты: жеткілікті талпыныспен, кез келген адам таза шудан әдемі бэктест жасай алады. Нарық нейрондық желіңіздің қаншалық сәнді екеніне мән бермейді.

Машина оқыту нарықтардың саудаланатын жолын шынымен түбегейлі өзгертеді. Бірақ сыртқа ерекше көрінетін үлгі мен тірі нарықтармен байланысқа шыдайтын үлгі арасындағы алшақтық орасан зор — ал оларды ажырата білу — бүкіл ойын. Бұл сабақ сізге екеуін де үйретеді: нағыз артықшылық табатын ML жүйелерін қалай құру керек, және екінші жартысын өткізіп жіберетін адамдарды жойатын тұзақтардан қалай сақтану керек.

Машина оқыту — компьютерлерге әрбір сценарий үшін жеке-жеке бағдарламаланбай деректен үлгілерді үйрену туралы ғылым. «RSI 30-дан төмен түскенде сатып алу» деген ережені жазудың орнына, алгоритмге мыңдаған тарихи мысал бересіз де, оған пайдалы трейдтің алдында тұратын үлгілерді табуға мүмкіндік бересіз. Машина тәжірибеден жалпылайды — көрнекті трейдер интуиция дамытатыны сияқты, бірақ кез келген адам басында сақтай алатыннан көп деректе.

Қаржы нарықтары мұны есептеусіз көп мөлшерде тудырады: баға тактары, тапсырыс кітабы снапшоттары, қаржыландыру мөлшерлемелері, тізбектегі ағындар, сентимент бағалары, макро шығарылымдар. Дәстүрлі ережеге негізделген стратегиялар тек өзінің жасаушысы алдын елестеткен қатынастарды қамтиды. ML үлгілері жүздеген белгі бойы бір мезгілде сызықсыз, жоғары өлшемді өзара әрекеттесулерді таба алады — адам талдаушы ешқашан сынауды ойламайтын қатынастар.

Бірақ нарықтар барлық қолданбалы ML-дегі ең дұшпан орта, ал бұл неге екеніне адал болу керек. Көп ML жетістіктері — суреттерді тану, тіл үлгілері — жұмыс істейді, себебі негізгі ережелер қозғалмайды. Мысық 2010 жылы алынған суретте де, 2026 жылы да мысыққа ұқсайды. Нарықтар керісінше:

• Дерек стационарлық емес. Нарықтың статистикалық «ережелері» режимдер өзгергенде тоқтаусыз ығысады. Тынық бұқалы нарықта оқытылған үлгі құлдырауда белсенді қауіпті болуы мүмкін.
• Сигнал-шу қатынасы аяусыз. Сурет тану үлгісінде, дерлік әрбір пиксель ақпаратты көтереді. Қайтарымда, баға қозғалысының көбісі шу. Сіз кездейсоқтықтың қайнап тұрған теңізіндегі жіңішке сигнал үшін кен қазасыз.
• Сіз бейімделетін қарсыластарға қарсы бәсекелесесіз. Мысық өз көрінісін классификаторыңызды алдау үшін өзгертпейді. Нағыз нарық артықшылығы танымал болған сәтте, басқа трейдерлер оны арбитражбен жояды. Үлгіңіздің жетістігі оны тыныш түрде өзінің артықшылығын жейді.

Машина оқыту — бір тәсіл емес — ол түрлі мәселелерге лайықталған тәсілдер отбасы. Қаржыда, барлық үш негізгі парадигманың да нақты қолданысы бар.

Бақылаушылы оқыту — жұмыс аты. Үлгіге белгіленген мысалдар бересіз: белгілі нәтижелермен (мақсаттар) жұптасатын тарихи белгі векторлар (кіріс), ал ол бірден екіншіге картаға түсіру үлгісін үйренеді. Қаржы қолданысында екі кіші тур үстемдік етеді:

• Классификация — категорияны болжау. Актив кейінгі сағатта өсе ме, түсе ме? Бұл транзакция алаяқтық па? Шығыс — әдетте ықтималдығы бекітілген дискретті жапсырма.
• Регрессия — үзіліссіз мәнді болжау. 1-сағаттық қайтарым қанша болады? Әділ қаржыландыру мөлшерлемесі қанша? Шығыс — сан, ал үлгі болжам қатесін минимизациялайды.

Бақылаушысыз оқыту деректе жапсырмасыз құрылымды табады. K-Means сияқты кластерлеу алгоритмдері сауда күндерін нарық режимдеріне — трендті, орташаға қайту, жоғары-тұрақсыздық — оларды алдын анықтамай топтастыра алады. PCA сияқты өлшемділік қысқарту жүздеген корреляцияланған белгіні бірнеше тәуелсіз факторға сығады, бұл белгі жиыныңыз үлгіңіздің тереңдігінен кеңірек болғанда маңызды.

Күшейтілген оқыту (RL) агентті жиынтық сыйақыны максимализациялау арқылы тізбекті шешім қабылдауға үйретеді. Агент ортамен (нарықпен) әрекеттеседі, әрекет жасайды (сатып алу, сату, ұстау), және кері байланыс алады (пайда немесе шығын). RL портфель бөлу және тапсырыс орындау үшін тартымды, олардың ең жақсы әрекеті ағымдағы позицияға, транзакция құнына, және нарықтық әсерге байланысты. DeepMind-нің ойын ойнайтын агенттері қаржы RL зерттеуінің толқынын шабыттандырды — бірақ тәжірибелік нәтижелер аралас түрде қалады, дәл нарықтар стационарлық болмағаны және «ойын» ойын кезінде өз ережелерін өзгертіп отырғаны себепті.

Машина оқытуда, белгілер — үлгі болжам жасау үшін пайдаланатын кіріс айнымалылар. Шикі OHLCV дерек — бастапқы нүкте, бірақ шикі бағаларды үлгіге беру — аспазға ұнтақ орнына шикі бидай беруге ұқсас — алдымен оны өңдеу керек. Белгі инжинирингі — сала маманығы дерек ғылымымен кездескен жер, ал ол жұмыс істейтін үлгі мен пайдасыз үлгі арасындағы айырмашылық болатыны алгоритм таңдаудан көп кездеседі.

Қаржы ML үшін жалпы белгі категориялары:

• Техникалық индикаторлар — RSI, MACD, Bollinger Band ені, ATR, ADX. Бұлар импульс, тұрақсыздық, және трендтің қуатын стандарттандырылған, шкала-өзгермейтін кіріс ретінде кодтайды.
• Лаг белгілері — бірнеше горизонт бойы (1-бар, 5-бар, 20-бар, 60-бар) өткен қайтарымдар, әр түрлі уақыт шкаласында импульс пен орташаға қайтуды қамтиды.
• Тұрақсыздық өлшемдері — жылжымалы стандартты ауытқу, Parkinson тұрақсыздығы (жоғары/төмен бойы), Garman-Klass бағалаушысы. Тұрақсыздық топтасуы қаржыдағы ең сенімді стильдендірілген фактілердің бірі.
• Көлем белгілері — көлем қатынасы (ағымдағы vs орташа), баланстан тыс көлем, көлем-баға корреляциясы. Әдеттегідей емес көлем жиі баға қозғалысынан бұрын келеді.
• Активаралық белгілері — ETH болжағанда BTC қайтарымы кіріс ретінде. Активтер арасындағы ығысатын корреляциялар жиі баға алдын режим өзгерісін белгілейді.

Python-де белгі инжинирингінің тәжірибелік мысалы:

import pandas as pd
import numpy as np

def engineer_features(df: pd.DataFrame) -> pd.DataFrame:
    df["return_1h"] = df["close"].pct_change(1)
    df["return_4h"] = df["close"].pct_change(4)
    df["return_24h"] = df["close"].pct_change(24)
    df["volatility_24h"] = df["return_1h"].rolling(24).std()
    df["rsi_14"] = compute_rsi(df["close"], 14)
    df["volume_ratio"] = df["volume"] / df["volume"].rolling(24).mean()
    df["atr_14"] = compute_atr(df, 14)
    return df.dropna()

Екі ереже — талқыланбайтын. Біріншісі, ешқашан болашақ деректі қолданбаңыз — әрбір белгі болжам жасалатын сәтте қолжетімді ақпараттан есептелетін болуы керек. Пайдалы стратегияны «табудың» ең жалпы жолы — ертенгі санды бүгінгі белгіге кездейсоқ өткізіп алу. Екінші, кірістеріңізді нормализациялаңыз; көп ML үлгілері белгі мүлдем әр түрлі шкалада болғанда тоқтап қалады ($60 000 баға, RSI 30-мен қатар).

Бұл бүтін сабақтан бір нәрсе есте қалдырсаңыз, осы болсын: стандартты ML тексеру қаржы нарықтары үшін апатты түрде қате.

Кәдімгі машина оқытуда, дерегіңізді кездейсоқ араластырасыз да train және test жиынтықтарға бөлесіз. Бұл уақыт-қатарлы баға деректе істесеңіз, үлгіге өткенді болжау үшін болашақты тегін алдырған болатыныңызша болады. Дәлдігіз тамаша көрінеді. Тірі саудаңыз қырғын болады. Осы жалғыз қате — алдын-қарау (look-ahead bias) деп аталады — кез келген нарық құлдырауынан көп жарылған квант стратегиясына жауапты. Дұрыс тәсіл әрдайым уақыт бағытын құрметтейді:

Хронологиялық train/validation/test бөлу. Дерегіңізді күні бойы бөліңіз: 2020–2022 train, 2023 validate, 2024 test. Test жиынтығы тек бір рет тиіледі — ол сіздің тірі саудаңыздың симуляциясы. Гиперпараметрлерді оған қарсы тюнделген сәтте, ол test жиынтығы болмайды және сіз выборкадан тыс өнімділіктің адал бағасын жоғалтасыз.

Walk-forward тексеру (кеңейтін немесе жылжымалы терезе) күштірек. 1–12 айларда train, 13-айды болжау. Содан кейін 1–13 (немесе 2–13) айларда train, 14-айды болжау. Қайталаңыз. Бұл үлгі ешқашан көрмеген деректе көп выборкадан тыс болжам тудырады, ал өзгеріп бара жатқан жағдайларға бейімделе отырып — ол стратегия шынымен қолданылатын және қайта оқытылатыны сияқты жаңғырту жасайды.

Тазаланған кросс-тексеру (Маркос Лопес де Прадо енгізген) train және test бүктары арасында алшақтық қосады, қабатталатын жапсырмалар арқылы дерек ағуын тоқтату үшін. Мақсатыңыз 24-сағаттық алдыдағы қайтарым болса, бүктың шекарасына жақын бақылаулар ақпаратты бөліседі; тазалау алшақтығы сол қосылуды алып тастайды. Тест-бүктан кейінгі қосымша «embargo» кезеңі train-ге қайта сериялы корреляция ағуынан қорғайды.

Ақырында, үлгіні ақша үшін маңызды метрикамен, оқулық үшін емес, бағалаңыз. Жалғыз-өзіндегі дәлдік алдамшы. 51% дәл, бірақ үлкен қозғалыстарда дұрыс үлгі үлкен пайда бере алады; тек кіші қозғалыстарды тап тапқан 70%-дәл үлгі комиссиядан кейін ақша жоғалта алады. Бағыттық болжамдарыңыздағы дәлдікті, нәтижелі стратегияның Шарп коэффициентін, және максималды даундроуды бақылаңыз — және әрдайым нақты транзакция құны мен слиппаждан кейін.

Табличный қаржы дерегі үшін — OHLCV шамдардан, техникалық индикаторлардан, және инжинирленген белгілерден алатыныздан — ағаш-негізіндегі ансамбль үлгілері терең нейрон желілерінен тұрақты асып түседі. Бұл пікір емес; ол жақсы белгіленген эмпирикалық нәтиже (Grinsztajn т.б., 2022, «Ағаш-негізіндегі үлгілер табличный деректе терең оқытудан неге әлі асып түседі?» қараңыз). Суреттер мен тіл үшін, терең оқыту үстемдік етеді. Белгі кестесі үшін, ағаштар жеңеді.

Кездейсоқ орман жүздеген шешім ағашын құрады, әрбіреуі жолдар мен белгілердің кездейсоқ үлесінде оқытылады, содан кейін олардың болжамдарын орташалайды. Бұл орташалау тұрақсыздық пен артық сай келуді азайтады. Олар күшті, минималды тюндеуді қажет етеді, және құрылымдық белгі маңыздылық дәрежесін береді — сіздің үлгіңізді нақты не қозғайтынын түсіну үшін бағасыз.

Градиенттік бустинг (XGBoost, LightGBM, CatBoost) ағаштарды кетме-кет құрады, әрбіреуі әлі жиналған ансамбльдің қатесін түзетеді. Бұл әдетте дәлдікте кездейсоқ орманнан асып түседі, бірақ көбірек күнделікті тюндеуді талап етеді. LightGBM — көп қаржы ML тәжірибешісі үшін әдепкі таңдау: жылдам train, жетіспейтін мәндерді нативті өңдеу, және ол миллиондаған жолға қолайлы масштабтала алады.

import lightgbm as lgb
from sklearn.model_selection import TimeSeriesSplit

model = lgb.LGBMClassifier(
    n_estimators=500,
    max_depth=6,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    min_child_samples=50,
)

tscv = TimeSeriesSplit(n_splits=5)
for train_idx, val_idx in tscv.split(X):
    model.fit(X.iloc[train_idx], y.iloc[train_idx],
              eval_set=[(X.iloc[val_idx], y.iloc[val_idx])])

Терең оқытудың да өз орны бар — бірақ тар орны. LSTM және Transformer шикі тізбекті деректе — трейд-трейд тапсырыс ағыны, немесе бағаны жаңалықтар мен қоғамдық медиа сентименті мәтінімен қосу — шынымен құн қоса бере алады, онда реттілік пен контекст жалпақ кестелердің тастайтын ақпаратты көтереді. Тек оларға әдепкі бойынша жүгінбеңіз. Инжинирленген белгі бар құрылымды дерек үшін, GaiaEx API-нен тартылған деректе жақсы тюнделген LightGBM дерлік әрдайым нейрон желісінен жеңеді — және ол сағаттар орнына секундтарда train болады.

Баға болжам барлық назарды алады, бірақ ол нарықтарда ML-дың ең қиын және ең сенімсіз қолданысы. Ең құндылы қолданыстардың кейбіреуінің келесі свечаны болжаумен ешбір қатысы жоқ:

• Нарық-режимін анықтау. Бақылаушысыз кластерлеу нарық жағдайларын режимдерге сұрыптайды — тынық трендті, шайқалған орташаға қайту, жоғары-тұрақсыздық дүрбелен. Қай режимде екеніңізді білу стратегияны өзгертуге немесе мөлшерді қысқартуға мүмкіндік береді, бұл жиі кез келген бірнеше бағыттық болжамнан көп тұрады.
• Сентимент талдауы. Үлкен тілдік үлгілер жаңалықтар, X/Twitter, және Discord-ты ешбір адам жете алмайтын масштабта оқиды, нарық көңіл-күй ығысуларын бағалайды. Зерттеу тұрақты түрде сентимент сигналын баға дерегімен қосудан жалғыз бағадан крипто-болжам дәлдігін жақсартатынын көрсетеді — сентимент криптоны әдеттегіден көп қатты қозғайды.
• Алаяқтық пен манипуляцияны анықтау. Мұнда ML тыныш түрде жарқырайды. Үлгілер координацияланған тастаудан бұрын келетін анадай көлем мен тапсырыс-кітап үлгілерін байқап, жалған сауда, спуфинг, және классикалық памп-әнд-дамп схемаларын белгілейді. Аномалия-анықтау үлгілері (LSTM, Anomaly Transformer) мұнда классикалық ML мен қарапайым статистикалық шектеулерді сенімді түрде жеңеді.
• Орындау және слиппаж моделдеу. ML үлкен тапсырыстың нарық әсерін болжайды, орындау алгоритмдеріне құнды минимизациялау үшін оны бөліктерге бөлуге көмектеседі. Крипто сияқты 24/7 алаңда, ыдырақ тапсырыс кітапты сізге қарсы қозғалдырса, бұл тікелей соңғы нәтижеңізді қорғайды.
• Тәуекел және ликвидация басқаруы. Үлгілер ағымдағы тұрақсыздық негізінде позицияның тәуекел шегін бұзу ықтималдығын бағалайды, каскадқа дейін, одан кейін емес, позиция мөлшерін белгілеу мен стоп қою үшін көмектеседі.

Адал білім беру мұның қалай сәтсіздікке ұшырайтынын атауды білдіреді, себебі ол әдетте сол түрде болады. Осы тұзақтар кез келген аюлы нарықтан көп квант стратегиясын жойды:

• Артық сай келуі. Үлгі train дерегін жалпыланатын бірдеме оқудың орнына жаттап алады. Емі — тәртіп, ақылдылық емес: қарапайымырақ үлгілер, азырақ белгі, регуляризация, және аяусыз выборкадан-тыс тексеру. Бэктестіз тым жақсы көрінсе, ол сондай.
• Алдын-қарау (Look-ahead bias). Шешім сәтінде қолжетімді болмаған ақпаратты қолдану — толық дерегіңізде бөлу алдын белгілерді есептеу, кейін түзетілген бағаларды қолдану, немесе (ешкім мойындайтыннан көп) мақсат айнымалысын белгі жиынтығында қалдыру.
• Тірі қалу қателігі (Survivorship bias). Тек бүгінге дейін өмір сүретін активтерде train болу. Тізімнен алынған токендер, алдап шығарылған жобалар, және өлі койндер деректеріңізде тыныш түрде жетіспейді, бұл әрбір нәтижені жоғары ығыстырады. Криптода бұл қатал — мыңдаған токен нөлге түскен.
• Стационарлық еместік. Нарық таралымдары ығысады. 2021 бұқалы нарықта train болған үлгі 2022 аюлы нарықта сәтсіздікке ұшырайды, себебі ол үйренген ережелер әлі ұстамайды. Регулярлі қайта train болуыңыз және таралым ығысуын бақылауыңыз керек, «орнатты да ұмыт кетті» емес.
• Көп-тексеру тұзағы. 1000 стратегия нұсқасын сынап көріңіз, бірнешеуі таза сорттан ерекше көрінеді. Дәл осылай сол «$4.2 миллион» бэктест пайда болады. Дефляцияланған Шарп коэффициенті сияқты құралдар нақты сіз тым көбірек ізденгендіктен тапқан өнімділікті жеңілдету үшін бар.
• Зерттеу-дан-өнімдіруге алшақтығы. Бэктестер кедергісіз, дереу толтырылатын трейдтерді болжайды. Тірі нарықтар слиппаж, комиссия, кідіріс, және нарық әсерін талады, олар теориялық қайтарымнан 30–70%-ты кескіндеп кетіріп, «пайдалы» стратегияны теріске айналдыра алады.

Бұл тізімде тереңірек нүкте жасырынған. Нарықтар — қарсылықты, бейімделетін жүйе — әрбір нағыз артықшылық оны арбитражбен жоятын бәсекелестерді тартады. Бір жыл жеңген үлгі коды ешбір қатесіз шоғырланған айда тоқтап қалады. Осы себепті жетістікті квант операциялары бір мүлтіксіз үлгіні іздемейді; олар нарық эволюцияланғанда артықшылықтарды таба, тексере, және резервке шығара отыратын жол-құбырды құрады.

Оқығаныздың әрбір квант дағдысы алдымен бір нәрсеге тәуелді: таза, сенімді дерек. Дәл осында GaiaEx сіздің ML жұмыс ағыныңызға сай келеді. Трейдтер Hyperliquid L1-де орындалғандықтан, әрбір толтырылым, қаржыландыру мөлшерлемесі, және тапсырыс-кітап өзгерісі тізбекте жазылады және GaiaEx API арқылы ашылады — көп орталықтандырылған дерек ағынды азаптайтын алшақтық пен тыныш түзетілулерсіз ашық, тығыз, нақты уақытты және тарихи дерек бере отырып.

Тізбектегі дерек ML үшін неге маңызды: үлгі тек кірістері адал болса ғана адал. Train дерегіңіз қара-жасырын ішкі дерекордан емес, ашық L1-ден келгенде, оқып жатқан баға мен көлемдер шынымен саудаланған баға мен көлем екеніне сене аласыз. Бұл белгілеріңізге әлі жетпес бұрын бүкіл бір категория нәзік дерек-тұтастық қателерін алып тастайды.

Бірінші жобаңыз әдейі қарапайым болуы керек. Мақсат бірінші тырысуда нарықты жеңу емес — ол сіз қайталана алатын толық, ағыссыз конвейерді құру. Мұнда нақты жол картасы:

• GaiaEx API-ден BTC/USDC үшін 1-сағаттық шам дерегін жинаңыз — кем дегенде 6 ай.
• 10–15 белгі инжинирлеңіз: лаг қайтарымдар, RSI, ATR, көлем қатынасы, Bollinger Band ені.
• Әрбір барды жапсырламаңыз: кейінгі 4-сағаттық қайтарым позитив болса 1, басқа түрде 0.
• Walk-forward тексерумен LightGBM классификаторын train етіңіз — кездейсоқ бөлу ешқашан.
• Үлгі 1-ды болжағанда, дәлдік, қайтарым, және нағыз комиссияны шегергеннен кейін ұзын позиция ашатын қарапайым стратегияның Шарп коэффициентін бағалаңыз.

Содан кейін — және мұны жаңадан бастаушылар өткізіп жіберетін бөлім — оны бұзуға тырысыңыз. Тазалау алшақтығын қосыңыз да артықшылығыңыз аман қала ма, көріңіз. Кез келген белгі жасырын түрде болашақты ағызып жатса тексеріңіз. Оны басқа уақыт терезесінде сынаңыз. Артықшылық тексеруде жоғалса, сіз шынымен құндылы нәрсе үйрендіңіз: ол ешқашан нағыз болмаған, ал сіз оны капиталыңызбен емес, тегін таптыңыз.