미분류 112 - naver.HOW data lake by AI

Early Stopping(조기 종료)는 딥러닝 모델의 과적합(overfitting)을 방지하기 위한 정규화 기법으로, 모델이 훈련 데이터에 지나치게 적응하기 전에 학습을 조기에 중단시키는 기술입니다[1][2]. 이는 모델의 일반화 성능을 향상시키고 훈련 시간을 절약하는 효과적인 방법입니다.

Early Stopping의 기본 원리

Early Stopping은 검증 데이터(validation data)의 성능을 지속적으로 모니터링하여 과적합을 감지하는 메커니즘입니다[1][3]. 일반적으로 학습 초기에는 훈련 손실(training loss)과 검증 손실(validation loss)이 모두 감소하지만, 과적합이 발생하면 훈련 손실은 계속 감소하는 반면 검증 손실은 증가하기 시작합니다[1][2].

구체적인 작동 방식은 다음과 같습니다:

데이터 분할: 훈련 데이터와 별도로 검증 데이터를 준비합니다[1][2]
성능 모니터링: 매 에포크(epoch)마다 검증 데이터에 대한 성능을 평가합니다[2]
조기 종료 조건 설정: 성능이 일정 기간 개선되지 않을 때를 감지하는 조건을 설정합니다[2]
학습 중단: 조건이 충족되면 훈련을 조기에 종료합니다[2]

주요 파라미터

Early Stopping 구현에서 중요한 파라미터들은 다음과 같습니다:

Patience (인내심)

가장 중요한 파라미터로, 성능이 개선되지 않아도 기다려줄 에포크 수를 지정합니다[2][4]. 예를 들어, patience=3이면 3번의 에포크 동안 성능 향상이 없을 경우 학습을 종료합니다[4].

Monitor (모니터링 지표)

관찰할 성능 지표를 설정합니다. 일반적으로 val_loss(검증 손실)나 val_accuracy(검증 정확도)를 사용합니다[4][5].

Min_delta (최소 변화량)

성능이 개선되었다고 판단하기 위한 최소 변화량을 설정합니다[4][5]. 이 값보다 작은 변화는 개선으로 간주하지 않습니다.

Mode (모드)

성능 지표의 개선 방향을 설정합니다[4][5]:

min: 지표값이 감소할 때 개선 (손실 함수의 경우)
max: 지표값이 증가할 때 개선 (정확도의 경우)
auto: 자동으로 판단

다양한 프레임워크에서의 구현

Keras/TensorFlow

Keras에서는 EarlyStopping 콜백 함수를 제공합니다[4][5]:

from tensorflow.keras.callbacks import EarlyStopping

early_stopping = EarlyStopping(
    monitor='val_loss',
    patience=10,
    min_delta=0.001,
    mode='min',
    restore_best_weights=True
)

model.fit(X_train, y_train,
          validation_data=(X_val, y_val),
          epochs=100,
          callbacks=[early_stopping])

PyTorch

PyTorch는 기본 Early Stopping 기능을 제공하지 않아 직접 구현해야 합니다[6][7]:

class EarlyStopping:
    def __init__(self, patience=7, min_delta=0, mode='min'):
        self.patience = patience
        self.min_delta = min_delta
        self.mode = mode
        self.counter = 0
        self.best_score = None
        self.early_stop = False

    def __call__(self, val_loss, model):
        score = -val_loss if self.mode == 'min' else val_loss

        if self.best_score is None:
            self.best_score = score
        elif score < self.best_score + self.min_delta:
            self.counter += 1
            if self.counter >= self.patience:
                self.early_stop = True
        else:
            self.best_score = score
            self.counter = 0

Scikit-learn

Scikit-learn에서는 Gradient Boosting 등의 알고리즘에서 Early Stopping을 지원합니다[8][9]:

from sklearn.ensemble import GradientBoostingRegressor

model = GradientBoostingRegressor(
    n_estimators=1000,
    validation_fraction=0.1,
    n_iter_no_change=10,
    tol=1e-4
)

장점과 단점

장점

과적합 방지: 모델이 훈련 데이터에 지나치게 적응하는 것을 방지합니다[2][10]
훈련 시간 절약: 불필요한 훈련을 줄여 계산 자원과 시간을 절약합니다[2][11]
자동화: 최적의 훈련 에포크를 자동으로 결정합니다[2][10]
간편함: 모델 구조나 손실 함수 수정 없이 적용 가능합니다[10]

단점

조기 종료 위험: 성능이 일시적으로 정체되었을 때 너무 빨리 종료될 수 있습니다[12][13]
최적화 복잡성: 손실 함수 최적화와 과적합 방지 사이의 균형을 맞추기 어렵습니다[13][14]
검증 데이터 필요: 별도의 검증 데이터셋이 필요합니다[2][15]
하이퍼파라미터 조정: patience, min_delta 등의 파라미터 튜닝이 필요합니다[2][4]

실제 적용 시 고려사항

적절한 Patience 설정

너무 작은 patience 값은 조기 종료를 초래할 수 있고, 너무 큰 값은 과적합을 방지하지 못할 수 있습니다[2][12]. 일반적으로 3-10 사이의 값이 많이 사용됩니다[4][6].

성능 지표 선택

모니터링할 지표는 문제의 특성에 따라 선택해야 합니다. 회귀 문제에서는 val_loss를, 분류 문제에서는 val_accuracy나 val_loss를 사용하는 것이 일반적입니다[4][5].

모델 가중치 복원

많은 구현에서 restore_best_weights=True 옵션을 제공하여, 학습 종료 후 가장 좋은 성능을 보인 시점의 모델 가중치로 복원할 수 있습니다[5][16].

결론

Early Stopping은 딥러닝 모델의 과적합을 방지하고 훈련 효율성을 높이는 핵심적인 기술입니다[1][2]. 적절한 파라미터 설정과 함께 사용하면 모델의 일반화 성능을 크게 향상시킬 수 있으며, 대부분의 딥러닝 프레임워크에서 쉽게 구현할 수 있습니다[4][5][6]. 특히 ModelCheckpoint와 함께 사용하면 최적의 모델을 저장하면서 효율적인 학습을 수행할 수 있습니다[16][17].

출처
[1] 딥러닝 파이토치 교과서: 8.3.3 조기 종료를 이용한 성능 최적화 https://thebook.io/080289/0626/
[2] 조기 종료 – velog https://velog.io/@tnsida315/%EC%A1%B0%EA%B8%B0-%EC%A2%85%EB%A3%8C
[3] 조기 중단 – 위키백과, 우리 모두의 백과사전 https://ko.wikipedia.org/wiki/%EC%A1%B0%EA%B8%B0_%EC%A4%91%EB%8B%A8
[4] [딥러닝] EarlyStopping이란? – velog https://velog.io/@jihyeon9975/%EB%94%A5%EB%9F%AC%EB%8B%9D-EarlyStopping%EC%9D%B4%EB%9E%80
[5] Tensorflow 콜백함수: EarlyStopping – 딥딥딥 – 티스토리 https://deep-deep-deep.tistory.com/55
[6] [Pytorch] 파이토치 과적합 방지(Early Stopping) 구현 방법 정리 https://jimmy-ai.tistory.com/342
[7] [pytorch] Early Stopping 조기종료 구현 및 적용 – 테디노트 https://teddylee777.github.io/pytorch/early-stopping/
[8] Early stopping in Gradient Boosting – Scikit-learn https://scikit-learn.org/stable/auto_examples/ensemble/plot_gradient_boosting_early_stopping.html
[9] sklearn: early_stopping with eval_set? – python – Stack Overflow https://stackoverflow.com/questions/54299500/sklearn-early-stopping-with-eval-set
[10] How does early stopping prevent overfitting in deep learning? https://milvus.io/ai-quick-reference/how-does-early-stopping-prevent-overfitting-in-deep-learning
[11] [Deep Learning] Early Stopping: 효율적인 머신러닝을 위한 지름길 https://datasciencebeehive.tistory.com/106
[12] 파이썬 딥러닝 – 05. EarlyStopping – 쏭노트 – 티스토리 https://ssongnote.tistory.com/11
[13] Regularization에 대해 꼭 생각해봐야하는 점(L2 … – 통계학 세상 https://deepdata.tistory.com/1083
[14] [딥러닝 기본] Deep Learning 과적합 해결 – 욱이의 냉철한 공부 https://warm-uk.tistory.com/51
[15] [DL] 조기 종료(early stopping) – velog https://velog.io/@cha-suyeon/DL-%EC%A1%B0%EA%B8%B0-%EC%A2%85%EB%A3%8Cearly-stopping
[16] [Keras] 콜백함수 (3) – 조기종료: EarlyStopping – 테디노트 https://teddylee777.github.io/tensorflow/keras-%EC%BD%9C%EB%B0%B1%ED%95%A8%EC%88%98-vol-03/
[17] D.03. Keras EarlyStopping, ModelCheckpoint and Callback – 위키독스 https://wikidocs.net/179491
[18] 조기 종료 기법 | 머신 러닝 최적화 | 랩 – LabEx https://labex.io/ko/tutorials/python-early-stopping-for-machine-learning-300214
[19] [tensorflow] 조기멈춤 규제기법 사용 / EarlyStopping https://haystar.tistory.com/54
[20] 14. 학습 조기 종료 https://forensics.tistory.com/29
[21] Early Stopping – Overfitting 방지 – 혼자하는 코딩 – 티스토리 https://gofo-coding.tistory.com/entry/Early-Stopping
[22] 딥러닝 모델 성능 최적화: 배치정규화, 드롭아웃, 조기 종료 이해하기 https://kylo8.tistory.com/entry/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%EC%84%B1%EB%8A%A5-%EC%B5%9C%EC%A0%81%ED%99%94%ED%95%98%EA%B8%B0-%EB%B0%B0%EC%B9%98%EC%A0%95%EA%B7%9C%ED%99%94-%EB%93%9C%EB%A1%AD%EC%95%84%EC%9B%83-%EC%A1%B0%EA%B8%B0%EC%A2%85%EB%A3%8C
[23] [LLM] Fine-tuning시 early stopping 적용하기 – Carpe Diem – 티스토리 https://nado-coding.tistory.com/8
[24] 강의 22 과대적합 방지 (조기 종료) – 위키독스 https://wikidocs.net/28147
[25] Early stopping – Wikipedia https://en.wikipedia.org/wiki/Early_stopping
[26] Early Stopping | Deeplearning4j https://deeplearning4j.konduit.ai/deeplearning4j/how-to-guides/tuning-and-training/early-stopping
[27] early stopping (조기 중단) – 인공지능(AI) & 머신러닝(ML) 사전 https://wikidocs.net/120091
[28] tf.keras.callbacks.EarlyStopping | TensorFlow v2.16.1 https://www.tensorflow.org/api_docs/python/tf/keras/callbacks/EarlyStopping
[29] [딥러닝 일지] 학습 조기 종료 (Early Stop) https://blog.joonas.io/191
[30] [논문 리뷰] Don’t Waste Your Time: Early Stopping Cross-Validation https://www.themoonlight.io/ko/review/dont-waste-your-time-early-stopping-cross-validation
[31] Setting up your Machine Learning Application – YBIGTA Data Science https://ybigta-data-science.readthedocs.io/en/latest/5_CourseraDLforEveryone/05_course2_week1/
[32] [Pytorch 스크래치 코드] Early Stopping https://put-idea.tistory.com/87
[33] Overfitting을 막는 방법들 (regularization, cross-validation, early … https://trivia-starage.tistory.com/238
[34] [Pytorch] Early Stopping Sample 코드 – velog https://velog.io/@es_seong/Pytorch-Early-Stopping-Sample
[35] pytorch EarlyStopping 적용하기 – 개발자 엘티엘의 지식 보관소 https://ltlkodae.tistory.com/68
[36] [PyTorch] Early Stopping & LRScheduler – RecCode – 티스토리 https://ysg2997.tistory.com/7
[37] [deep learning] early stopping – EunGyeongKim – 티스토리 https://eungyeong-kim.tistory.com/9
[38] 딥러닝/ EarlyStopping 라이브러리 사용법 https://python-programming-diary.tistory.com/145
[39] [딥러닝] 이론 – 과적합 – 노트북 산 김에 공부 – 티스토리 https://qkrtkddus1204.tistory.com/49
[40] GitHub – Bjarten/early-stopping-pytorch: Early stopping for PyTorch https://github.com/Bjarten/early-stopping-pytorch
[41] Pause for Performance: The Guide to Using Early Stopping in ML … https://pub.towardsai.net/pause-for-performance-the-guide-to-using-early-stopping-in-ml-and-dl-model-training-0abd24e5cdcb
[42] Pytorch : Early stopping Mechanism https://stackoverflow.com/questions/78511133/pytorch-early-stopping-mechanism
[43] Pause for Performance: The Guide to Using Early Stopping in ML and DL Model Training https://pub.towardsai.net/pause-for-performance-the-guide-to-using-early-stopping-in-ml-and-dl-model-training-0abd24e5cdcb?gi=3534b66eb538
[44] early-stopping-pytorch on Pypi https://libraries.io/pypi/early-stopping-pytorch
[45] Early Stopping — PyTorch Lightning 2.5.2 documentation https://lightning.ai/docs/pytorch/stable/common/early_stopping.html
[46] Migrate early stopping | TensorFlow Core https://www.tensorflow.org/guide/migrate/early_stopping
[47] Early stopping¶ https://pytorch-lightning.readthedocs.io/en/0.9.0/early_stopping.html
[48] sklearn: early_stopping with eval_set? https://stackoverflow.com/questions/54299500/sklearn-early-stopping-with-eval-set/54300331
[49] EarlyStopping: Stop training when a monitored quantity has stopped… in statsmaths/kerasR: R Interface to the Keras Deep Learning Library https://rdrr.io/github/statsmaths/kerasR/man/EarlyStopping.html
[50] Early stopping and Callbacks — AutoSklearn 0.16.0dev … https://automl.github.io/auto-sklearn/development/examples/40_advanced/example_early_stopping_and_callbacks.html
[51] EarlyStopping – Keras https://keras.io/api/callbacks/early_stopping/

[카테고리:] 미분류

딥러닝 학습에서의 Early Stopping 기술