모델 모니터링을 위한 TensorFlow, Keras, TensorBoard

Google Brain이 개발하여 2015년에 공개한 TensorFlow는 단순한 딥러닝 라이브러리가 아니라, 모든 규모에서 머신러닝 모델을 구축·훈련·배포·모니터링하기 위한 완전한 생태계입니다. PyTorch가 연구 분야를 지배하는 반면, TensorFlow는 여전히 프로덕션 환경의 주력으로 남아 있으며, Google, Airbnb, Twitter 및 수천 개의 다른 기업에서 매일 수십억 건의 예측을 처리하는 시스템에 배치되어 있습니다.

이 생태계는 머신러닝의 전체 생애주기를 아우릅니다.

• Keras — 모델을 구축하고 훈련하기 위한 고수준 API로, 이제 tf.keras로 TensorFlow에 완전히 통합되었습니다
• TensorBoard — 훈련을 모니터링하고, 실험을 비교하고, 모델을 디버깅하기 위한 시각화 도구
• tf.data — 대규모 데이터셋을 모델에 공급하기 위한 고성능 데이터 파이프라인
• TensorFlow Serving — 버전 관리, 배칭, 하드웨어 가속을 갖춘 프로덕션급 모델 서빙
• TensorFlow Lite — 모바일 및 엣지 디바이스를 위한 최적화된 런타임
• TensorFlow.js — 브라우저에서 직접 모델 실행

이러한 폭넓음이 TensorFlow의 가장 큰 강점입니다. Keras로 Jupyter 노트북에서 모델을 프로토타이핑하고, GPU 클러스터에서 훈련시키고, TensorBoard로 훈련을 모니터링하고, API 뒤에서 TF Serving으로 서빙하고, Raspberry Pi에 압축된 버전을 배포하는 것 — 이 모든 것을 같은 프레임워크 안에서 할 수 있습니다. 클라우드 트레이딩 엔진(GaiaEx의 API에 연결된)과 연구용 로컬 워크스테이션 모두에서 모델을 실행해야 할 수 있는 금융 애플리케이션에서는 이러한 다재다능함이 중요합니다.

Keras는 하나의 지침 원칙 아래 설계되었습니다 — 신경망을 구축할 때의 인지적 부담을 줄이는 것입니다. Keras는 이를 두 가지 모델 구축 API로 실현하며, 각각은 서로 다른 복잡도 수준에 적합합니다.

Sequential API는 가장 단순합니다 — 레이어를 선형으로 쌓는 방식입니다.

import tensorflow as tf
from tensorflow import keras

model = keras.Sequential([
    keras.layers.Dense(128, activation="relu", input_shape=(20,)),
    keras.layers.Dropout(0.3),
    keras.layers.Dense(64, activation="relu"),
    keras.layers.Dropout(0.2),
    keras.layers.Dense(1, activation="sigmoid"),
])

여러 입력, 여러 출력, 공유 레이어, 또는 스킵 연결이 있는 모델을 위해서는 Functional API가 그래프 수준에서 완전한 제어권을 제공합니다.

price_input = keras.Input(shape=(60, 5), name="price_sequence")
meta_input = keras.Input(shape=(10,), name="metadata")

x = keras.layers.LSTM(64, return_sequences=True)(price_input)
x = keras.layers.LSTM(32)(x)

combined = keras.layers.concatenate([x, meta_input])
combined = keras.layers.Dense(64, activation="relu")(combined)
output = keras.layers.Dense(1, activation="sigmoid")(combined)

model = keras.Model(inputs=[price_input, meta_input],
                    outputs=output)

이 모델은 두 개의 입력을 받습니다 — 적층된 LSTM으로 처리되는 60단계 가격 시퀀스와, 정적 특징들의 메타데이터 벡터입니다. 이 둘을 결합하여 방향성 예측을 출력합니다. 이러한 아키텍처는 시간적 패턴(최근 가격 움직임)과 맥락 정보(변동성 국면, 펀딩비, 요일)를 혼합하려는 금융 머신러닝에서 흔히 사용됩니다.

금융 애플리케이션에 유용한 주요 레이어 유형은 다음과 같습니다 — 테이블형 특징을 위한 Dense, 시계열을 위한 LSTM과 GRU, 지역적인 시간 패턴을 학습하기 위한 Conv1D, 그리고 트랜스포머 방식의 시퀀스 모델링을 위한 MultiHeadAttention입니다.

구축이 끝나면 Keras 모델은 세 가지 구성요소 — 옵티마이저, 손실 함수, 평가 지표 — 로 컴파일되어야 합니다.

model.compile(
    optimizer=keras.optimizers.Adam(learning_rate=1e-3),
    loss="binary_crossentropy",
    metrics=["accuracy", keras.metrics.AUC(name="auc")],
)

history = model.fit(
    X_train, y_train,
    epochs=100,
    batch_size=64,
    validation_data=(X_val, y_val),
    callbacks=[...],
)

콜백(callback)은 훈련 중 특정 지점 — 각 에포크나 배치가 끝난 후, 또는 특정 조건이 충족되었을 때 — 에서 실행되는 훅입니다. 콜백은 수동 모니터링 없이도 훈련 관리를 자동화합니다.

• EarlyStopping — 검증 손실이 patience로 지정된 에포크 수만큼 개선되지 않으면 훈련을 멈춥니다. 과적합과 낭비되는 연산을 막아줍니다. restore_best_weights=True로 설정하면 최적의 체크포인트로 자동으로 되돌립니다.
• ModelCheckpoint — 검증 성능이 개선될 때마다 모델을 저장합니다. 훈련 중 발생하는 크래시나 이후 에포크에서의 과적합으로 최고의 모델을 잃는 일이 없습니다.
• ReduceLROnPlateau — 검증 손실이 정체될 때 학습률을 낮춥니다. 이는 고정된 학습률로는 놓치기 쉬운 추가적인 성능을 끌어내는 경우가 많습니다 — 모델이 처음에는 큰 걸음으로 이동하다가, 이후 더 작은 걸음으로 미세 조정합니다.

callbacks = [
    keras.callbacks.EarlyStopping(
        monitor="val_loss", patience=15,
        restore_best_weights=True),
    keras.callbacks.ModelCheckpoint(
        "best_model.keras", monitor="val_auc",
        mode="max", save_best_only=True),
    keras.callbacks.ReduceLROnPlateau(
        monitor="val_loss", factor=0.5,
        patience=5, min_lr=1e-6),
    keras.callbacks.TensorBoard(log_dir="./logs"),
]

TensorBoard는 TensorFlow의 시각화 도구이며, TensorFlow, PyTorch, JAX 중 어느 것을 사용하든 모든 머신러닝 실무자의 워크플로에서 가장 가치 있는 도구 중 하나입니다. 이는 원시 훈련 로그를 모델 내부에서 무슨 일이 일어나고 있는지 드러내는 인터랙티브 대시보드로 바꿔줍니다.

TensorBoard는 로그 디렉터리를 지정해 실행합니다.

# Terminal
tensorboard --logdir=./logs --port=6006

# Or in a Jupyter notebook
%load_ext tensorboard
%tensorboard --logdir ./logs

금융 모델 개발에서 핵심적인 시각화는 다음과 같습니다.

스칼라(Scalars) — 시간에 따라 그려진 훈련 및 검증 손실 곡선입니다. 두 곡선 사이의 간극은 과적합을 드러냅니다 — 훈련 손실은 계속 줄어드는데 검증 손실이 늘어난다면, 모델이 잡음을 외우고 있다는 뜻입니다. 건강한 훈련은 두 곡선이 함께 줄어들면서, 검증 곡선이 훈련 곡선보다 약간 위에 있는 모습을 보입니다.

히스토그램(Histograms) — 레이어와 에포크에 걸친 가중치, 편향, 활성값의 분포입니다. 가중치 분포가 0으로 붕괴하는 것(기울기 소멸), 큰 값으로 폭증하는 것(불안정한 훈련), 또는 활성값이 0이나 1에 포화되는 것(죽은 뉴런)을 살펴보십시오. 이런 문제들은 손실 곡선에서는 보이지 않지만 히스토그램에서는 명백하게 드러납니다.

임베딩(Embeddings) — 고차원 표현을 t-SNE나 PCA를 사용해 2D 또는 3D 공간에 투영합니다. 모델이 내부 표현에서 서로 다른 시장 국면, 자산군, 변동성 상태를 구분하는 법을 학습했는지 시각적으로 확인할 수 있습니다.

HParams — 실험 간 하이퍼파라미터 스윕을 비교합니다. 서로 다른 학습률, 아키텍처, 드롭아웃 값으로 같은 모델을 여러 번 실행한 다음, 어떤 조합이 최고의 검증 지표를 내는지 파악합니다. 이러한 체계적인 비교는 임시적인 실험을 근거 기반의 모델 선택으로 대체합니다.

TensorBoard는 torch.utils.tensorboard.SummaryWriter 클래스를 통해 PyTorch에서도 작동합니다 — 이 시각화 도구는 프레임워크에 종속되지 않으며, 이것이 TensorBoard가 머신러닝 생태계 전반에서 사실상의 표준이 된 이유 중 하나입니다.

데이터셋이 메모리에 다 들어가지 않을 정도로 클 때 — GaiaEx 같은 거래소의 틱 단위 데이터를 다룰 때 흔히 발생하는 상황입니다 — tf.data는 모든 것을 한꺼번에 로드하지 않고도 GPU를 계속 가동시키는 효율적이고 병렬화된 데이터 파이프라인을 제공합니다.

dataset = tf.data.Dataset.from_tensor_slices((features, labels))
dataset = (dataset
    .window(60, shift=1, drop_remainder=True)
    .flat_map(lambda w: w.batch(60))
    .batch(64)
    .prefetch(tf.data.AUTOTUNE)
)

prefetch(AUTOTUNE) 호출은 매우 중요합니다 — 이는 데이터 로딩과 모델 연산이 겹쳐서 진행되게 하여, GPU가 다음 배치를 기다리며 유휴 상태로 있는 일이 없게 합니다. 복잡한 특징 엔지니어링이 필요한 금융 데이터셋의 경우, 병렬로 실행되는 .map() 변환을 연쇄적으로 걸어, 지표와 정규화를 미리 계산하여 저장하는 대신 즉석에서 계산할 수 있습니다.

TensorFlow Serving은 고성능 gRPC 또는 REST API 뒤에서 모델을 배포하기 위한 프로덕션급 시스템입니다. 이는 모델 버전 관리(새 모델을 서빙하는 동시에 이전 모델을 대체 수단으로 유지), 요청 배칭(GPU 효율을 위해 여러 추론 요청을 결합), 하드웨어 가속을 처리합니다 — 이는 지연시간과 신뢰성 모두가 중요한 트레이딩 시스템에서 매우 중요합니다.

# Export a SavedModel
model.save("models/price_predictor/1")

# Serve with Docker
# docker run -p 8501:8501 \
#   --mount type=bind,source=$(pwd)/models,target=/models \
#   -e MODEL_NAME=price_predictor \
#   tensorflow/serving

일반적인 프로덕션 아키텍처는 다음과 같습니다 — 여러분의 트레이딩 봇이 GaiaEx의 WebSocket 피드에 연결하여 실시간으로 특징을 계산하고, TF Serving에 추론 요청을 보내고, 한 자릿수 밀리초 안에 예측을 받습니다. 새로운 데이터로 재훈련할 때는 갱신된 모델을 버전 2로 배포하십시오 — TF Serving은 다운타임 없이 이를 교체합니다.

TensorFlow Lite는 모바일 디바이스, 임베디드 시스템, 엣지 하드웨어에 배포하기 위해 모델을 압축합니다. 양자화(quantization, 32비트 부동소수점 가중치를 8비트 정수로 변환), 가지치기(pruning, 0에 가까운 가중치 제거), 아키텍처 최적화와 같은 기법을 통해 TF Lite는 대부분의 정확도를 유지하면서도 모델을 4배 이상 줄일 수 있습니다. 이는 연산 능력이 제한된 디바이스에서 직접 추론을 실행하는 것을 가능하게 합니다 — 클라우드 인프라와 독립적으로 작동해야 하는 엣지 트레이딩 노드나 모니터링 대시보드에 유용합니다.

# Convert a Keras model to TF Lite
converter = tf.lite.TFLiteConverter.from_saved_model("models/v1")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

with open("model.tflite", "wb") as f:
    f.write(tflite_model)

TensorFlow 대 PyTorch — 금융 애플리케이션에는 무엇을 선택해야 할까요?

• 연구와 프로토타이핑을 위해서는: PyTorch입니다. 동적 그래프, 파이썬다운(Pythonic) API, 학술 연구에서의 지배적인 위치는 더 많은 논문이 PyTorch 코드를 포함하고, 더 많은 튜토리얼이 PyTorch를 사용하며, 디버깅이 더 직관적이라는 뜻입니다.
• 대규모 프로덕션 배포를 위해서는: TensorFlow가 여전히 우위를 지니고 있습니다. TF Serving, TF Lite, TensorFlow.js는 PyTorch의 TorchServe와 ONNX Runtime이 아직 성숙해 가고 있는 실전에서 검증된 배포 경로를 제공합니다.
• 구체적으로 금융 머신러닝을 위해서는: 모델 개발과 실험은 PyTorch로 시작하십시오. 프로덕션 요구사항이 TF Serving의 성숙도나 TF Lite의 엣지 배포를 요구한다면, 최고의 모델들을 변환하십시오. 많은 팀이 연구에는 PyTorch를, 배포에는 TensorFlow를 사용하며, ONNX(Open Neural Network Exchange) 형식을 통해 이 둘을 연결합니다.

솔직한 진실은, 두 프레임워크가 수렴하고 있다는 것입니다. TensorFlow는 즉시 실행(eager execution)을 채택했고, PyTorch는 그래프 수준 최적화를 위한 torch.compile을 추가했습니다. Keras 자체도 이제 백엔드로 PyTorch, JAX, TensorFlow를 지원합니다. 최고의 프레임워크는 여러분의 팀이 잘 알고 있어서 실제 프로덕션 코드를 배포할 수 있는 프레임워크입니다. 하나를 골라 숙달하고, 도구에 대해 논쟁하는 대신 실제 문제 — 시장을 예측하는 것 — 를 해결하십시오.