앙상블 기법

앙상블(ensemble) 기법은 머신러닝에서 여러 모델을 결합하여 더 강력하고 안정적인 예측 모델을 만들기 위한 방법이다. 앙상블 기법에는 대표적으로 배깅(bagging), 부스팅(boosting), 스태킹(stacking) 방식이 있다.

 

Bagging

배깅은 Bootstrap Aggregating의 약어로, 중복을 허용하는 샘플링을 통해 여러 개의 모델을 병렬적으로 학습하고 각 모델의 예측을 평균 또는 투표를 통해 결합하는 방식이다. 즉, 전체 데이터에서 데이터를 중복 선택하여 모델을 여러 개로 늘리는 것이다. 이를 통해 모델의 분산을 줄여 과적합을 방지하고, 안정적인 예측을 가능하게 한다.

https://yganalyst.github.io/ml/ML_chap6-2/

 

 

Boosting

부스팅은 단일 모델로는 성능이 낮은 약한 학습기들을 순차적으로 학습시켜, 이전 모델이 실패한 샘플에 집중하여 학습하는 방식이다. 일반적으로는 이전 모델에서 잘못 예측된 샘플에 대한 가중치를 높여서 해당 샘플이 더 잘 고려될 수 있게 조정한다. 이를 통해 약한 학습기로도 높은 정확도를 달성하는 것이 가능하다.

 

Stacking

스태킹은 모델의 결괏값을 다른 알고리즘의 입력값으로 사용하는 방식이다. 일반적으로 여러 모델을 학습시킨 결과를 모아 새로운 모델이 이를 기반으로 최종 예측을 수행하게 한다. 이를 통해 더 강력한 예측 성능을 얻을 수 있게 된다.

https://medium.com/@brijesh_soni/stacking-to-improve-model-performance-a-comprehensive-guide-on-ensemble-learning-in-python-9ed53c93ce28