Machine Learning para Mercados Financeiros: Uma Introdução

Em 2018, uma equipe de quants mostrou ao seu fundo um modelo que transformou $100,000 em $4.2 million em um backtest. A curva de patrimônio era uma linha quase perfeita de 45 graus. O índice de Sharpe era 4.0 — melhor do que quase qualquer hedge fund na história. Eles o colocaram em produção com dinheiro real.

Ele perdeu dinheiro na primeira semana, e depois sangrou por três meses antes de ser desligado. O modelo que “ganhou” $4.2 million no papel não ganhou nada na realidade. Nada foi falsificado — sem fraude, sem bug. O modelo simplesmente memorizou o passado em vez de aprender qualquer coisa sobre o futuro.

Essa história se repete tanto que tem um nome: overfitting de backtest, e é a maior razão isolada pela qual fundos de machine learning fracassam. Marcos López de Prado — que já administrou billions em estratégias impulsionadas por ML — colocou de forma direta: com tentativas suficientes, qualquer pessoa pode produzir um backtest bonito sobre ruído puro. O mercado não se importa com a elegância da sua rede neural.

O machine learning está genuinamente transformando a forma como os mercados são negociados. Mas a distância entre um modelo que parece brilhante e um que sobrevive ao contato com mercados reais é enorme — e aprender a diferenciar os dois é o jogo inteiro. Esta lição ensina ambos: como construir sistemas de ML que encontram vantagens reais, e como evitar as armadilhas que destroem quem pula a segunda metade.

Machine learning é a ciência de fazer computadores aprenderem padrões a partir de dados sem serem explicitamente programados para cada cenário. Em vez de escrever uma regra como “compre quando o RSI cair abaixo de 30”, você alimenta o algoritmo com milhares de exemplos históricos e o deixa descobrir quais padrões precedem negociações lucrativas. A máquina generaliza a partir da experiência — exatamente como um trader experiente desenvolve intuição, mas através de mais dados do que qualquer humano conseguiria guardar na cabeça.

Os mercados financeiros geram volumes impressionantes disso: ticks de preço, fotos instantâneas do order book, taxas de financiamento, fluxos on-chain, pontuações de sentimento, divulgações macro. Estratégias tradicionais baseadas em regras capturam apenas as relações que seu criador já havia imaginado. Modelos de ML conseguem detectar interações não lineares e de alta dimensionalidade entre centenas de variáveis ao mesmo tempo — relações que um analista humano nunca pensaria em testar.

Mas os mercados são o ambiente mais hostil de toda a ML aplicada, e vale a pena ser honesto sobre por quê. A maioria dos avanços de ML — reconhecimento de imagem, modelos de linguagem — funciona porque as regras subjacentes não mudam. Um gato parece um gato, seja a foto tirada em 2010 ou em 2026. Os mercados são o oposto:

• Os dados não são estacionários. As “regras” estatísticas do mercado mudam constantemente conforme os regimes se alteram. Um modelo treinado em um bull market calmo pode ser ativamente perigoso em um crash.
• A relação sinal-ruído é brutal. No reconhecimento de imagem, quase todo pixel carrega informação. Nos retornos, a vasta maioria do movimento de preço é ruído. Você está minerando um sinal fraco em um mar tumultuado de aleatoriedade.
• Você está competindo contra adversários adaptativos. Um gato não muda de aparência para enganar seu classificador. No momento em que uma vantagem de mercado real se torna popular, outros traders a arbitram até desaparecer. O sucesso do seu modelo silenciosamente erode sua própria vantagem.

A boa notícia: a barreira já não é mais o acesso a dados ou a poder computacional. Plataformas como a GaiaEx fornecem acesso via API a dados de mercado em tempo real e históricos na Hyperliquid L1, então qualquer desenvolvedor pode coletar os conjuntos de dados que o ML exige. A barreira remanescente é o conhecimento — que é exatamente o que esta lição fornece.

Machine learning não é uma técnica única — é uma família de abordagens, cada uma adequada a problemas diferentes. Em finanças, todos os três grandes paradigmas têm aplicações reais.

O aprendizado supervisionado é o cavalo de batalha. Você dá ao modelo exemplos rotulados: vetores de variáveis históricas (entradas) pareados com resultados conhecidos (alvos), e ele aprende um mapeamento de um para o outro. Dois subtipos dominam o uso financeiro:

• Classificação — prever uma categoria. O ativo vai subir ou cair na próxima hora? Essa transação é fraudulenta? A saída é um rótulo discreto, geralmente com uma probabilidade associada.
• Regressão — prever um valor contínuo. Qual será o retorno de 1 hora? Qual é a taxa de financiamento justa? A saída é um número, e o modelo minimiza o erro de previsão.

O aprendizado não supervisionado encontra estrutura nos dados sem rótulos. Algoritmos de clustering como o K-Means podem agrupar dias de negociação em regimes de mercado — em tendência, com reversão à média, de alta volatilidade — sem que você defina esses regimes de antemão. A redução de dimensionalidade, como o PCA, comprime centenas de variáveis correlacionadas em um punhado de fatores independentes, o que importa quando seu conjunto de variáveis é mais largo do que sua amostra é profunda.

O aprendizado por reforço (RL) treina um agente para tomar uma sequência de decisões maximizando a recompensa acumulada. O agente interage com um ambiente (o mercado), toma ações (comprar, vender, manter), e recebe feedback (lucro ou perda). O RL é atraente para alocação de portfólio e execução de ordens, em que a melhor ação depende da sua posição atual, dos custos de transação e do impacto no mercado. Os agentes de jogo da DeepMind inspiraram uma onda de pesquisa de RL em finanças — mas os resultados práticos permanecem mistos, precisamente porque os mercados não são estacionários e o “jogo” muda suas regras no meio da partida.

Em machine learning, features (variáveis) são as variáveis de entrada que o modelo usa para fazer previsões. Dados OHLCV brutos são um ponto de partida, mas alimentar preços brutos direto em um modelo é como entregar a um chef trigo cru em vez de farinha — você precisa processá-lo primeiro. A engenharia de features é onde a expertise de domínio encontra a ciência de dados, e ela é, com muito mais frequência do que a escolha do algoritmo, a diferença entre um modelo que funciona e um inútil.

Categorias comuns de features para ML financeiro incluem:

• Indicadores técnicos — RSI, MACD, largura das Bandas de Bollinger, ATR, ADX. Eles codificam momentum, volatilidade e força de tendência como entradas padronizadas e invariantes a escala.
• Features de defasagem (lag) — retornos passados em múltiplos horizontes (1-barra, 5-barras, 20-barras, 60-barras), capturando momentum e reversão à média em escalas de tempo diferentes.
• Medidas de volatilidade — desvio padrão em janela deslizante, volatilidade de Parkinson (a partir de máxima/mínima), o estimador de Garman-Klass. O agrupamento de volatilidade é um dos fatos estilizados mais confiáveis em todas as finanças.
• Features de volume — razão de volume (atual vs. médio), volume on-balance, correlação volume-preço. Volume incomum frequentemente precede movimentos de preço.
• Features entre ativos — o retorno do BTC como entrada ao prever o ETH. Correlações que se deslocam entre ativos costumam sinalizar mudanças de regime antes do preço.

Aqui está um exemplo prático de engenharia de features em Python:

import pandas as pd
import numpy as np

def engineer_features(df: pd.DataFrame) -> pd.DataFrame:
    df["return_1h"] = df["close"].pct_change(1)
    df["return_4h"] = df["close"].pct_change(4)
    df["return_24h"] = df["close"].pct_change(24)
    df["volatility_24h"] = df["return_1h"].rolling(24).std()
    df["rsi_14"] = compute_rsi(df["close"], 14)
    df["volume_ratio"] = df["volume"] / df["volume"].rolling(24).mean()
    df["atr_14"] = compute_atr(df, 14)
    return df.dropna()

Duas regras são inegociáveis. Primeiro, nunca use dados futuros — toda feature precisa ser computável a partir de informação disponível no momento da previsão. A forma mais comum de “descobrir” uma estratégia lucrativa é deixar acidentalmente o número de amanhã vazar para as features de hoje. Segundo, normalize suas entradas; a maioria dos modelos de ML falha quando as features abrangem escalas muito diferentes (um preço de 60,000 ao lado de um RSI de 30).

Se você lembrar de uma coisa desta lição inteira, que seja esta: a validação de ML padrão está catastroficamente errada para os mercados financeiros.

No machine learning normal, você embaralha seus dados aleatoriamente e os divide em conjuntos de treino e teste. Faça isso com dados de preço em série temporal e você deixou o modelo treinar no futuro para prever o passado. Sua acurácia vai parecer espetacular. Seu trading em produção vai ser um massacre. Esse único erro — conhecido como look-ahead bias (viés de olhar para frente) — é responsável por mais estratégias quant destruídas do que qualquer crash de mercado. A abordagem correta sempre respeita a flecha do tempo:

Divisão cronológica de treino/validação/teste. Divida os dados por data: treine em 2020–2022, valide em 2023, teste em 2024. O conjunto de teste é tocado exatamente uma vez — ele é sua simulação de trading em produção. No momento em que você ajusta hiperparâmetros contra ele, ele deixa de ser um conjunto de teste e você perde qualquer estimativa honesta de performance fora da amostra.

A validação walk-forward (janela expansiva ou deslizante) é mais robusta. Treine nos meses 1–12, preveja o mês 13. Depois treine nos meses 1–13 (ou 2–13), preveja o mês 14. Repita. Isso gera muitas previsões fora da amostra, cada uma em dados que o modelo nunca viu, enquanto se adapta a condições em evolução — espelha como a estratégia seria realmente implantada e retreinada.

A validação cruzada com purga (introduzida por Marcos López de Prado) adiciona uma lacuna entre as dobras de treino e teste para impedir vazamento de informação através de rótulos sobrepostos. Se seu alvo é o retorno futuro de 24 horas, observações próximas à fronteira de uma dobra compartilham informação; a lacuna de purga remove essa contaminação. Um período adicional de “embargo” após a dobra de teste protege contra a correlação serial vazando de volta para o treino.

Finalmente, julgue o modelo em métricas que importam para dinheiro, não para livros didáticos. A acurácia isolada é enganosa. Um modelo que é 51% acurado, mas certo nos grandes movimentos, pode ser extremamente lucrativo; um modelo 70% acurado que só acerta os movimentos pequenos pode perder dinheiro depois das taxas. Acompanhe a precisão das suas chamadas direcionais, o índice de Sharpe da estratégia resultante, e o drawdown máximo — e sempre líquido de custos de transação e slippage realistas.

Para dados financeiros tabulares — do tipo que você obtém de candles OHLCV, indicadores técnicos e features projetadas —, modelos de ensemble baseados em árvores consistentemente superam redes neurais profundas. Isso não é opinião; é um resultado empírico bem estabelecido (ver Grinsztajn et al., 2022, “Why do tree-based models still outperform deep learning on tabular data?”). Para imagens e linguagem, o deep learning reina. Para uma tabela de features, as árvores vencem.

As Random Forests constroem centenas de árvores de decisão, cada uma treinada em um subconjunto aleatório de linhas e features, e depois calculam a média de suas previsões. Essa média reduz variância e overfitting. Elas são robustas, precisam de ajuste mínimo, e entregam um ranking de importância de features embutido — inestimável para entender o que realmente está impulsionando seu modelo.

O Gradient Boosting (XGBoost, LightGBM, CatBoost) constrói árvores sequencialmente, cada uma corrigindo os erros do conjunto até então. Isso geralmente supera as random forests em acurácia, mas exige ajuste mais cuidadoso. O LightGBM é a escolha padrão para a maioria dos praticantes de ML financeiro: treinamento rápido, tratamento nativo de valores ausentes, e escala confortavelmente para milhões de linhas.

import lightgbm as lgb
from sklearn.model_selection import TimeSeriesSplit

model = lgb.LGBMClassifier(
    n_estimators=500,
    max_depth=6,
    learning_rate=0.05,
    subsample=0.8,
    colsample_bytree=0.8,
    min_child_samples=50,
)

tscv = TimeSeriesSplit(n_splits=5)
for train_idx, val_idx in tscv.split(X):
    model.fit(X.iloc[train_idx], y.iloc[train_idx],
              eval_set=[(X.iloc[val_idx], y.iloc[val_idx])])

O deep learning ainda tem seu lugar — mas um lugar estreito. LSTMs e Transformers podem genuinamente agregar valor em dados sequenciais brutos: fluxo de ordens tick a tick, ou fundindo preço com o texto de notícias e sentimento de redes sociais, em que a ordenação e o contexto carregam informação que tabelas planas descartam. Só não recorra a eles por padrão. Para dados estruturados com features projetadas, um LightGBM bem ajustado treinado com dados extraídos da API da GaiaEx quase sempre vai superar uma rede neural — e treina em segundos em vez de horas.

A previsão de preço recebe toda a atenção, mas é o uso mais difícil e menos confiável de ML em mercados. Algumas das aplicações mais valiosas não têm nada a ver com prever o próximo candle:

• Detecção de regime de mercado. O clustering não supervisionado classifica as condições de mercado em regimes — tendência tranquila, reversão à média volátil, pânico de alta volatilidade. Saber em qual regime você está permite trocar de estratégia ou reduzir o tamanho, o que costuma valer mais do que qualquer previsão direcional isolada.
• Análise de sentimento. Grandes modelos de linguagem leem notícias, X/Twitter e Discord em uma escala que nenhum humano consegue, pontuando mudanças no humor do mercado. A pesquisa mostra consistentemente que fundir um sinal de sentimento com dados de preço melhora a acurácia de previsão em cripto sobre o preço isolado — o sentimento move as criptomoedas de forma incomumente forte.
• Detecção de fraude e manipulação. É aqui que o ML silenciosamente brilha. Os modelos sinalizam wash trading, spoofing e os clássicos esquemas de pump-and-dump ao detectar padrões anômalos de volume e de order book que precedem um despejo coordenado. Modelos de detecção de anomalia (LSTMs, Anomaly Transformers) superam de forma confiável tanto o ML clássico quanto os limiares estatísticos simples aqui.
• Modelagem de execução e slippage. O ML prevê o impacto de mercado de uma ordem grande, ajudando os algoritmos de execução a fracioná-la para minimizar o custo. Em uma plataforma 24/7 como a de cripto, em que uma ordem mal executada pode mover o book contra você, isso protege diretamente seu resultado final.
• Gestão de risco e liquidação. Os modelos estimam a probabilidade de uma posição romper um limiar de risco dada a volatilidade atual, ajudando a dimensionar posições e definir stops antes de uma cascata, em vez de depois.

Educação honesta significa nomear como isso dá errado, porque geralmente dá. Essas armadilhas destruíram mais estratégias quant do que todos os bear markets somados:

• Overfitting. O modelo memoriza os dados de treino em vez de aprender algo generalizável. A cura é disciplina, não engenhosidade: modelos mais simples, menos features, regularização e teste fora da amostra implacável. Se seu backtest parece bom demais para ser verdade, é.
• Look-ahead bias. Usar informação que não estava disponível no momento da decisão — computar features no conjunto de dados completo antes de dividi-lo, usar preços que foram revisados posteriormente, ou (mais comum do que qualquer pessoa admite) deixar a variável-alvo no conjunto de features.
• Viés de sobrevivência. Treinar apenas em ativos que ainda existem hoje. Tokens deslistados, projetos que sofreram rug pull e moedas mortas estão silenciosamente ausentes do seu conjunto de dados, o que distorce todo resultado para cima. Em cripto, isso é severo — milhares de tokens foram a zero.
• Não estacionariedade. As distribuições de mercado mudam. Um modelo treinado em um bull market de 2021 falha em um bear market de 2022 porque as regras que ele aprendeu já não valem. É preciso retreinar regularmente e monitorar a deriva de distribuição, não “definir e esquecer”.
• A armadilha dos testes múltiplos. Teste 1,000 variações de estratégia e algumas vão parecer brilhantes por pura sorte. É assim que aquele backtest de “$4.2 million” acontece. Ferramentas como o Índice de Sharpe Deflacionado existem especificamente para descontar a performance que você encontrou apenas por buscar com força suficiente.
• A lacuna entre pesquisa e produção. Os backtests assumem preenchimentos instantâneos e sem fricção. Os mercados em produção impõem slippage, taxas, latência e impacto de mercado que rotineiramente reduzem 30–70% dos retornos teóricos — e podem virar uma estratégia “lucrativa” para negativa.

Há um ponto mais profundo escondido nessa lista. Os mercados são um sistema adversário e adaptativo — toda vantagem real atrai competidores que a arbitram até desaparecer. Um modelo que ganha por um ano pode parar de funcionar no mês em que fica saturado, sem culpa do seu código. É por isso que operações quant bem-sucedidas não buscam um modelo perfeito; elas constroem um pipeline para continuar encontrando, validando e aposentando vantagens à medida que o mercado evolui.

Toda habilidade quant sobre a qual você leu depende de uma coisa primeiro: dados limpos e confiáveis. É aqui que a GaiaEx se encaixa no seu fluxo de trabalho de ML. Como as negociações são executadas na Hyperliquid L1, todo fill, taxa de financiamento e mudança de order book é registrado on-chain e exposto através da API da GaiaEx — dando a você dados transparentes, granulares, em tempo real e históricos, sem as lacunas e revisões silenciosas que afetam muitos feeds de dados centralizados.

Por que dados on-chain importam para o ML: um modelo é apenas tão honesto quanto suas entradas. Quando seus dados de treino vêm de uma L1 transparente em vez de um banco de dados interno de caixa preta, você pode confiar que os preços e volumes com os quais está aprendendo são os preços e volumes que realmente negociaram. Isso remove toda uma categoria de bugs sutis de integridade de dados antes que eles cheguem às suas features.

Seu primeiro projeto deve ser deliberadamente simples. O objetivo não é vencer o mercado na primeira tentativa — é construir um pipeline completo e sem vazamento no qual você possa iterar. Aqui está um roteiro concreto:

• Colete dados de candle de 1 hora para BTC/USDC a partir da API da GaiaEx — pelo menos 6 meses.
• Projete 10–15 features: retornos defasados, RSI, ATR, razão de volume, largura das Bandas de Bollinger.
• Rotule cada barra: 1 se o retorno das próximas 4 horas for positivo, 0 caso contrário.
• Treine um classificador LightGBM usando validação walk-forward — nunca uma divisão aleatória.
• Avalie a precisão, o recall e o índice de Sharpe de uma estratégia simples que compra quando o modelo prevê 1, depois de subtrair taxas realistas.

Depois — e esta é a parte que os principiantes pulam — tente quebrá-lo. Adicione uma lacuna de purga e veja se sua vantagem sobrevive. Verifique se alguma feature está secretamente vazando o futuro. Teste em uma janela de tempo diferente. Se a vantagem evaporar sob escrutínio, você aprendeu algo genuinamente valioso: que ela nunca foi real, e você descobriu isso de graça em vez de com seu capital.