Neural Network: Dari Perceptron sampai Deep Learning

Pada 10 Maret 2016, di pertandingan kedua dari lima pertandingan seri di Seoul, sebuah mesin bernama AlphaGo menempatkan sebuah batu hitam di garis kelima papan. Langkah itu begitu aneh sehingga komentator manusia mengasumsikan itu sebuah kesalahan. Satu profesional mengatakan secara terbuka bahwa seorang pemula akan dimarahi jika memainkannya. Lee Sedol — juara dunia 18 kali dalam permainan Go — berdiri dan meninggalkan ruangan untuk menenangkan diri.

Itu bukan kesalahan. Lima puluh langkah kemudian, batu itu — sekarang terkenal sebagai 'Move 37' — adalah engsel di mana seluruh permainan itu berbalik. AlphaGo menang. Lee Sedol, yang dianggap sebagai salah satu pemain terbaik yang masih hidup, kalah dalam seri itu 4–1. Dan berikut bagian yang penting: tidak ada manusia yang mengajari AlphaGo langkah itu. Itu tidak ada di buku teks mana pun. Mesin itu menemukannya sendiri, dengan bermain jutaan permainan melawan dirinya sendiri dan menyesuaikan miliaran angka internal kecil sampai sebuah pola muncul yang belum pernah dilihat siapa pun.

Go memiliki lebih banyak posisi papan yang mungkin daripada jumlah atom di alam semesta yang teramati. Kamu tidak bisa brute-force itu. Kamu tidak bisa menuliskan aturan untuknya. Satu-satunya cara untuk memainkannya di level superhuman adalah belajar — dan yang melakukan pembelajaran itu adalah sebuah neural network (jaringan saraf tiruan): sebuah tumpukan unit matematis sederhana yang, dengan cukup data dan cukup penyesuaian, bisa menemukan struktur yang tidak bisa diartikulasikan penuh oleh manusia mana pun.

Mekanisme yang sama itu — jumlah berbobot yang sama, loop training yang sama, dorongan gradien yang sama — adalah yang menggerakkan model bahasa yang kamu ajak bicara, sistem yang menandai transaksi kartu yang curang, dan model yang sekarang diarahkan dana kuantitatif ke pasar finansial. Pelajaran ini tentang apa yang sesungguhnya terjadi di dalam kotak itu.

Setiap neural network — dari spam filter sederhana hingga GPT hingga AlphaGo — bersumber dari satu ide tunggal: perceptron, ditemukan oleh Frank Rosenblatt pada tahun 1958. Ini adalah sebuah model matematis yang secara samar terinspirasi oleh sebuah neuron biologis. Sebuah neuron sungguhan menerima sinyal listrik melalui dendritnya, mengakumulasinya di dalam badan sel, dan mengirim sinyal ke bawah lewat axon-nya hanya jika input gabungannya melewati sebuah ambang batas. Perceptron melakukan hal yang sama, hanya saja dengan angka bukan tegangan.

Sebuah perceptron mengambil sebuah vektor input x, mengalikan setiap input dengan sebuah weight (bobot) w yang dipelajari, menjumlahkan hasilnya, menambahkan sebuah term bias b yang menggeser ambang batasnya, dan meneruskan hasilnya melalui sebuah activation function (fungsi aktivasi). Jika hasilnya melewati ambang batas, neuron tersebut 'menembak'; jika tidak, ia tetap diam. Keseluruhan mekanisme ini adalah satu ekspresi ringkas: output = f(w·x + b).

Bayangkan weight sebagai knob volume. Setiap input tiba dengan tingkat kekerasan tertentu, dan weight menentukan seberapa penting input tersebut bagi neuron ini secara spesifik. Sebuah neuron yang belajar mendeteksi trade yang curang mungkin memperbesar weight pada 'ukuran transaksi relatif terhadap riwayat akun' dan memperkecil weight pada 'waktu dalam sehari'. Pembelajaran, pada intinya, tidak lebih glamor daripada memutar knob-knob itu ke setelan yang tepat.

Satu perceptron tunggal memiliki batasan keras: ia hanya bisa memisahkan data dengan sebuah garis lurus (atau, dalam dimensi yang lebih tinggi, sebuah hyperplane datar). Ia bisa menjawab 'apakah titik ini di atas atau di bawah garis?' tapi tidak 'apakah titik ini di dalam region yang melengkung?'. Contoh historisnya adalah masalah XOR — sebuah pola yang secara terbukti tidak bisa dipelajari satu perceptron, sebuah limitasi yang membantu membekukan pendanaan AI selama bertahun-tahun di tahun 1970-an. Jalan keluarnya secara retrospektif terlihat hampir absurd sederhananya: susun banyak perceptron ke dalam layer dan sisipkan sebuah aktivasi nonlinear di antara mereka. Lakukan itu, dan network yang dihasilkan bisa melengkung, melipat, dan mengukir ruang menjadi bentuk-bentuk yang secara arbitrer kompleks.

Satu neuron adalah sebuah knob. Sebuah network yang berguna adalah ribuan dari mereka, diorganisasikan ke dalam layer yang meneruskan informasi seperti brigade ember.

• Layer input — tempat fitur mentahmu masuk: piksel dari sebuah gambar, kata dari sebuah kalimat, atau untuk sebuah model trading, hal-hal seperti harga, volume, volatilitas, dan ketidakseimbangan order book.
• Hidden layer — layer di antara, di mana pekerjaan sesungguhnya terjadi. Setiap layer mengambil output dari layer sebelumnya dan menggabungkannya kembali menjadi fitur baru yang lebih abstrak.
• Layer output — jawaban final: sebuah probabilitas, sebuah ramalan harga, sebuah label kelas.

Kata 'deep' dalam deep learning sekadar berarti banyak hidden layer. Dan kedalaman itu memberimu sesuatu yang spesifik: sebuah hierarki fitur. Dalam sebuah network gambar, layer pertama mendeteksi tepi, layer berikutnya menyusun tepi menjadi bentuk, layer berikutnya menyusun bentuk menjadi objek. Tidak ada yang memprogram 'pendeteksi tepi' atau 'pendeteksi mata' — konsep-konsep tersebut muncul dari training. Network tersebut menciptakan vokabuler perantaranya sendiri.

Ada sebuah hasil teoretis yang indah di sini, universal approximation theorem: sebuah network dengan bahkan satu hidden layer, dengan cukup neuron, bisa mendekati fungsi kontinu apa pun dengan akurasi yang arbitrer. Dengan kata lain, network yang tepat secara prinsip bisa merepresentasikan pola apa pun yang ada di data kamu. Kendalanya — dan ini kendala yang besar — adalah 'secara prinsip' itu melakukan pekerjaan berat. Teorema tersebut menjanjikan bahwa network semacam itu ada; ia tidak mengatakan apa pun tentang apakah kamu bisa menemukannya, apakah kamu punya cukup data untuk menentukannya, atau apakah pola yang kamu kejar itu bahkan nyata. Dalam domain sinyal-rendah seperti finance, jarak antara 'dapat direpresentasikan' dan 'dapat dipelajari' itu tepatnya di mana kebanyakan model gagal.

Berikut fakta yang mengejutkan orang: tanpa activation function, kedalaman itu tidak berguna. Jika setiap layer hanyalah jumlah berbobot biasa, maka menyusun sepuluh layer akan secara matematis identik dengan satu layer tunggal — sebuah rangkaian operasi linear kolaps menjadi satu operasi linear. Kamu akan menghabiskan biaya komputasi yang besar untuk membangun sebuah garis lurus yang dimuliakan. Activation function adalah tikungan nonlinear yang disisipkan di antara layer yang memungkinkan network melengkung, dan melengkung itulah yang membuatnya kuat.

Aktivasi-aktivasi yang perlu diketahui setiap praktisi:

• Sigmoid — σ(x) = 1/(1+e⁻ˣ). Memampatkan input apa pun ke dalam (0, 1), yang secara alami terbaca sebagai sebuah probabilitas. Bagus untuk output biner, tapi pilihan yang buruk di dalam hidden layer: untuk input positif atau negatif yang besar kurvanya menjadi flat, gradiennya menuju hampir nol, dan pembelajaran macet — masalah vanishing gradient (gradien yang menghilang).
• Tanh — menghasilkan output di (−1, 1) dan berpusat di nol, yang membantu optimisasi. Masih jenuh pada ekstremnya, tapi tidak seburuk sigmoid.
• ReLU — f(x) = max(0, x). Default modern untuk hidden layer. Ia sangat sederhana, murah untuk dihitung, dan menjaga gradien yang sehat untuk semua input positif. Kelemahannya adalah 'dying ReLU': sebuah neuron yang terdorong untuk selalu mengeluarkan output nol bisa menjadi tidak aktif secara permanen.
• Leaky ReLU — f(x) = max(0.01x, x). Membiarkan sedikit gradien mengalir untuk nilai negatif, yang menjaga neuron dari kematian.
• GELU — sepupu ReLU yang halus dan probabilistik yang menjadi standar di dalam transformer seperti BERT dan GPT.

Sampai sini kita punya sebuah network penuh weight. Tapi dari mana datangnya nilai weight yang tepat? Tidak ada yang mengetikkannya — ada jutaan. Mereka ditemukan lewat sebuah feedback loop yang, pada intinya, adalah trial and error yang terorganisasi dengan kalkulus yang melakukan pencatatan.

Langkah satu adalah forward pass: masukkan sebuah contoh, biarkan mengalir melalui layer, dan baca hasil prediksinya. Langkah dua adalah mengukur seberapa salah prediksi itu memakai sebuah loss function (fungsi loss). Untuk memprediksi sebuah angka (sebuah harga), Mean Squared Error merata-ratakan jarak kuadrat antara prediksi dan kebenaran. Untuk klasifikasi, cross-entropy mengukur seberapa jauh probabilitas yang diprediksi dari jawaban yang benar. Loss yang tinggi berarti 'sangat salah'; keseluruhan tujuan dari training adalah mendorong angka itu turun.

Langkah tiga adalah bagian yang cerdik: backpropagation. Memakai chain rule dari kalkulus, algoritma ini bekerja mundur dari loss melalui setiap layer dan menghitung, untuk setiap weight individual, sebuah gradien — jawaban dari 'jika saya dorong satu weight ini sedikit ke atas, apakah error naik atau turun, dan berapa banyak?'. Ini adalah trik yang mencairkan musim dingin AI. Backprop, yang dipopulerkan pada tahun 1980-an, membuat mungkin untuk menetapkan tanggung jawab di antara jutaan weight secara efisien daripada menebak-nebak.

Langkah empat adalah gradient descent: dorong setiap weight satu langkah kecil ke arah yang mengurangi loss, memakai aturan w = w − α × ∂L/∂w. Bayangkan berdiri di sebuah lereng bukit yang berkabut mencoba mencapai dasar lembah; kamu tidak bisa melihat dasarnya, tapi kamu bisa merasakan ke mana arah menurun di bawah kakimu, jadi kamu mengambil langkah ke arah itu dan ulangi. Learning rate α adalah panjang langkahmu, dan itu bisa dibilang dial paling penting di seluruh sistem. Terlalu besar dan kamu melompati lembah dan bergoyang selamanya; terlalu kecil dan kamu merambat selama sepanjang masa atau terjebak di sebuah parit di tengah jalan turun.

Dua penyempurnaan yang akan langsung kamu temui. Mini-batch: daripada memperbarui setiap contoh (berisik) atau hanya setelah seluruh dataset (lambat), kamu memperbarui setelah sebuah batch kecil — biasanya 32 hingga 256 contoh — yang stabil, ramah GPU, dan titik manis dalam praktik. Dan Adam: sebuah optimizer yang lebih pintar yang memberi setiap weight langkahnya sendiri yang adaptif dan menambahkan momentum untuk menghaluskan gradien yang berisik. Adam adalah default yang bijak untuk mulai dari hampir semua proyek — meski dalam finance, dengan rasio sinyal-ke-noise-nya yang rendah, kamu tetap perlu mengatur learning rate, weight decay, dan titik berhenti secara manual.

Berikut modus kegagalan yang menghancurkan lebih banyak model finansial daripada yang lain. Sebuah neural network adalah pencocok fungsi yang begitu fleksibel sehingga, jika diberi kesempatan, ia akan menghafal data training kamu sepenuhnya — termasuk semua noise acak, kebetulan sekali-jadi, dan koinsidensi yang tidak akan pernah terulang. Ia mencatat skor yang indah pada data yang sudah dilihatnya dan gagal total begitu bertemu apa pun yang baru. Ini adalah overfitting, dan di pasar — di mana sinyal sesungguhnya lemah dan noise-nya memekakkan telinga — ini adalah hasil default, bukan pengecualian. Alat-alat yang melawannya disebut regularisasi.

Dropout adalah yang paling populer. Selama setiap langkah training, setiap neuron memiliki probabilitas p (sering 0.2–0.5) untuk dimatikan sementara. Dipaksa bekerja bahkan ketika rekan-rekan acak terus lenyap, network belajar menyebarkan pengetahuannya di antara banyak neuron daripada bertaruh semuanya pada beberapa neuron yang rapuh — sebuah efek ensemble yang tertanam ke dalam satu model tunggal. Pada saat prediksi semua neuron dinyalakan kembali, diskalakan dengan tepat.

Penalti L1 dan L2 menambahkan sebuah pajak pada weight yang besar ke loss-nya. L2 (weight decay) mencegah satu weight tunggal menjadi terlalu besar, menyebarkan pengaruh secara merata. L1 lebih tajam: ia secara aktif mendorong weight yang tidak berguna sampai tepat nol, melakukan seleksi fitur otomatis. Dalam sebuah dataset finansial di mana kebanyakan dari seratus fiturmu adalah noise, L1 bisa diam-diam menemukan segelintir yang sesungguhnya membawa sinyal.

Batch normalization menskalakan ulang output setiap layer ke mean dan varians yang stabil, yang menstabilkan training dan membiarkanmu memakai learning rate yang lebih tinggi. Early stopping adalah penjaga paling sederhana dan paling reliabel dari semuanya: awasi error pada sebuah set validasi yang disimpan terpisah, dan pada saat ia mulai merambat naik sementara error training terus turun, berhenti — perpotongan itu adalah momen tepat ketika network beralih dari belajar pola menjadi menghafal noise.

Feedforward network biasa memperlakukan setiap input sebagai sebuah kumpulan angka yang tidak terstruktur. Tapi banyak data nyata memiliki struktur — sebuah gambar memiliki tata letak spasial, sebuah rangkaian harga memiliki urutan temporal — dan dua arsitektur khusus mengeksploitasi struktur itu secara langsung.

Convolutional Neural Network (CNN) dibangun untuk gambar. Daripada menghubungkan setiap piksel ke setiap neuron, sebuah CNN menggeser filter kecil di seluruh input, memburu pola lokal — sebuah tepi di sini, sebuah tekstur di sana — dan memakai ulang filter yang sama di mana-mana. Layer awal menangkap tepi; layer yang lebih dalam menyusunnya menjadi bentuk dan objek. Dalam finance, peneliti telah mengarahkan CNN ke:

• Gambar chart candlestick — merancang ulang pembacaan chart sebagai sebuah tugas pengenalan pola visual.
• Heatmap order book — mendeteksi ketidakseimbangan supply/demand dalam snapshot depth-of-market.
• Konvolusi 1D pada rangkaian harga mentah — mempelajari motif temporal singkat cara sebuah CNN gambar mempelajari yang spasial.

Recurrent Neural Network (RNN) dibangun untuk sekuens. Mereka memproses satu langkah waktu pada satu waktu sambil membawa sebuah hidden state — sebuah memori yang berjalan — dari setiap langkah ke langkah berikutnya. Secara teori ini membuatnya ideal untuk time series. Dalam praktik, RNN vanilla dilumpuhkan oleh masalah vanishing gradient pada sekuens yang panjang: sinyal dari banyak langkah lalu mengecil menuju nol dalam perjalanan mundurnya, sehingga network sekadar melupakan masa lalu yang jauh.

Long Short-Term Memory (LSTM) memperbaiki ini dengan sekumpulan kecil gate yang dapat dipelajari — forget, input, dan output — yang menentukan di setiap langkah apa yang harus dihapus dari memori, apa yang harus ditulis masuk, dan apa yang harus dibaca keluar. Gating itu membiarkan sebuah LSTM mempertahankan informasi yang relevan sepanjang ratusan langkah, yang sebabnya ia menjadi kuda beban untuk memodelkan time series finansial di mana sebuah peristiwa dari kemarin masih menggerakkan harga hari ini.

import torch.nn as nn

class PricePredictor(nn.Module):
    def __init__(self, input_dim, hidden_dim, num_layers):
        super().__init__()
        self.lstm = nn.LSTM(input_dim, hidden_dim,
                            num_layers, batch_first=True,
                            dropout=0.2)
        self.fc = nn.Linear(hidden_dim, 1)

    def forward(self, x):
        out, _ = self.lstm(x)
        return self.fc(out[:, -1, :])

Pada sebuah platform seperti GaiaEx, di mana feed WebSocket meng-stream data harga dan order book secara kontinu, sebuah LSTM bisa mengonsumsi rangkaian itu secara natural. Meskipun begitu, bidang ini sebagian besar telah bergerak maju: transformer — arsitektur di balik model bahasa modern — sekarang menyamai atau mengalahkan LSTM pada banyak tugas sekuens dengan memakai 'attention' untuk melihat semua langkah waktu sekaligus daripada berjalan melewatinya satu per satu.

Neural network adalah pencari pola yang spektakuler. Tapi edukasi yang jujur berarti menyebutkan di mana mereka rusak — dan dalam trading, mereka rusak dengan cara yang mahal.

• Mereka menemukan pola bahkan ketika tidak ada yang ada. Beri sebuah deep network noise dan ia akan dengan percaya diri mencocokkannya. Pasar sebagian besarnya adalah noise, jadi beban pembuktian ada padamu untuk menunjukkan bahwa sebuah pola itu nyata dan bertahan — bukan sekadar hadir di data tahun lalu.
• Mereka adalah black box. Sebuah model bisa akurat dan masih tidak bisa memberitahumu mengapa. Ketika ia mendadak merugi, sering tidak ada penjelasan yang bersih dan tidak ada solusi yang jelas. Untuk modal yang menanggung risiko, 'saya tidak tahu kenapa ia melakukan itu' adalah liabilitas yang serius.
• Mereka lapar dan rapuh. Deep learning bersinar dengan jutaan contoh yang bersih. Sejarah finansial itu singkat, non-stasioner, dan berisik — regime yang melatih model kamu bisa saja berhenti ada, sebuah masalah yang disebut distribution shift (pergeseran distribusi).
• Mereka tidak mengalahkan model yang lebih sederhana secara gratis. Pada data tabular berbasis fitur yang umum dalam finance, tree yang di-gradient-boost seperti XGBoost sering mengungguli neural network sambil lebih cepat dilatih dan lebih mudah diinterpretasikan. Kompleksitas adalah sebuah biaya, bukan sebuah keutamaan.
• Mereka bisa diserang. Perturbasi kecil dan sengaja pada sebuah input bisa membalik output sebuah network — sebuah contoh adversarial — yang penting di mana pun seorang musuh bisa membentuk apa yang dilihat model kamu.

Melatih neural network berat pada aritmetika — sebagian besarnya perkalian matriks — dan hardware yang kamu pakai untuk menjalankannya mengubah kecepatan iterasimu dari 'semalaman' menjadi 'sambil ngopi'.

GPU adalah standarnya. Ribuan core-nya semuanya menjalankan operasi yang sama pada data berbeda sekaligus, yang tepatnya bentuk matematika neural network. Sebuah model yang merambat selama 8 jam pada CPU bisa selesai dalam 15 menit pada GPU modern. NVIDIA mendominasi: kartu konsumen (sebuah GPU kelas RTX) baik untuk belajar, sementara kartu data center (A100, H100) dan instance cloud menangani training skala produksi. TPU, chip khusus Google untuk matematika tensor, bersinar pada model yang sangat besar melalui Google Cloud, tapi GPU tetap default praktis untuk kebanyakan praktisi berkat dukungan software yang lebih luas.

Kamu tidak perlu membeli apa pun untuk mulai. Google Colab membagikan waktu GPU gratis yang lebih dari cukup untuk belajar dan prototyping; sewa GPU cloud sesuai permintaan seiring model kamu bertumbuh; beli hardware khusus hanya begitu kamu berlatih setiap hari dan tagihan cloud membenarkannya.

Jalur pembelajaran yang bijak dari sini:

• Mulai dengan sebuah feedforward network biasa pada beberapa fitur yang diengineer — cepat untuk dilatih, mudah untuk didebug, dan sebuah baseline yang jujur.
• Coba sebuah CNN 1D pada rangkaian harga mentah dan bandingkan langsung dengan baseline itu.
• Bangun sebuah LSTM yang mengonsumsi rangkaian data candlestick dari API GaiaEx.
• Pelajari attention dan transformer — semakin menjadi arsitektur pilihan untuk sekuens.
• Di atas semuanya, selalu adu deep model kamu melawan sebuah baseline gradient-boosting seperti XGBoost. Jika neural network tidak bisa mengalahkan model yang lebih sederhana out-of-sample pada data finansial tabular kamu, kirimkan model yang lebih sederhana itu dan lanjutkan.

Loop yang sama yang menemukan Move 37 — prediksi, ukur error, dorong weight, ulangi — adalah loop yang berjalan di dalam setiap sistem dalam daftar ini. Pahami loop itu dan kamu memahami deep learning; sisanya adalah arsitektur dan engineering di atasnya.