[Data Science] Random Forest 🌳

랜덤 포레스트는 여러 결정 트리를 결합하여 더 정확한 예측을 만들어내는 앙상블 학습 기법이다. 

 

Random Forest

 

1. 랜덤 포레스트의 용도와 중요성 

 

• 의사결정 트리는 머신러닝의 시작점으로 적합하지만, 새로운 데이터에 대한 예측에서 일관성이 떨어지는 문제가 있다. 
• 랜덤 포레스트는 여러 개의 결정 트리를 결합하여 이러한 문제를 해결하며, 예측의 정확성을 향상시킨다.
• 이 방법은 효과적이고 실용적이기 때문에 많은 데이터 과학자들에게 인기가 높다. 
• 따라서 랜덤 포레스트는 머신러닝에서 신뢰할 수 있는 도구로 자리잡고 있다. 

2. 랜덤 포레스트의 정의와 작동 원리 

 

• 랜덤 포레스트는 여러 개의 결정 트리를 결합하여 만든 앙상블 기계 학습(머신러닝) 모델이다. 
• 각 트리는 데이터의 랜덤 샘플(부트스트랩 샘플링)에 대해 훈련되며, 분할 시 랜덤한 피처의 하위 집합만을 고려한다. 
• 분류 작업의 경우, 랜덤 포레스트는 트리들 간의 다수결 투표를 통해 예측을 수행하며, 회귀 작업의 경우 평균을 내어 예측값을 결정한다.
• 이 모델은 "군중의 지혜" 방식으로 개별 트리들의 오류를 평균화하여 더 신뢰할 수 있는 예측을 제공한다.
• 랜덤 포레스트는 부트스트랩 집계(bagging) 알고리즘의 일종으로, 각 트리를 데이터의 랜덤한 부분으로 구성하고 이들의 결과를 조합한다. 

3. 랜덤 포레스트의 훈련 단계 

 

• 랜덤 포레스트 알고리즘은 여러 개의 결정 트리를 구성하고 결합하여 예측을 수행한다. 
• 첫 번째 단계로, 부트스트래핑 샘플 생성을 통해 각 트리를 위한 새로운 훈련 세트를 랜덤으로 샘플링하여 원본 데이터 크기에 도달하게 하며, 선택되지 않은 샘플은 OOB(out-of-bag) 샘플로 남겨 놓는다.
• 두 번째 단계인 트리 구성에서는 각 결정 트리가 데이터를 분할할 때, 전체 데이터에서 랜덤하게 선택된 기능의 하위 집합을 고려하고, 가장 낮은 불순도 감소를 제공하는 분할 지점을 선택한다.
• 마지막 단계로, 다른 부트스트랩 샘플에 대해 두 번째 단계를 반복함으로써 여러 트리를 만들어내며, 이 다양한 트리들은 보다 정확한 예측을 가능하게 한다.

4. 랜덤 포레스트의 장단점 

 

• 랜덤 포레스트는 정확한 결과를 제공하며, 단일 결정 트리보다 과적합이 적어 신뢰성이 높다.
• 이 모델은 각 특성이 예측에서 얼마나 중요한지를 측정하여, 특성의 중요성을 파악할 수 있게 해준다.
• 랜덤 포레스트는 최소한의 전처리로 수치형 및 범주형 변수를 잘 처리할 수 있으며, 누락된 값과 이상치에도 잘 작동한다.
• 그러나 트리의 수를 늘리거나 깊이를 더할수록 계산 비용이 증가하여 훈련과 예측에 더 많은 시간이 소요된다.
• 또한, 랜덤 포레스트는 전체적으로 어떤 특성이 중요한지는 알 수 있지만, 특정 예측의 이유를 해석하기 어려워 해명에 문제가 될 수 있다 .
• 마지막으로 예측 시 모든 트리를 거쳐 결과를 결합해야 하므로, 예측 속도가 느려 실시간 애플리케이션에 문제가 될 수 있다. 

5. 랜덤 포레스트의 유용성

 

• 여러 결정을 내리는 결정 트리를 결합하여 각각의 트리가 데이터의 서로 다른 부분에서 학습함으로써, 랜덤 포레스트는 일관되게 더 나은 예측을 만들어낸다. 
• 설정 조정이 다소 필요하지만, 대부분의 경우 약간의 세부 조정 없이도 좋은 성능을 발휘한다.
• 더 많은 컴퓨팅 파워가 필요할 수 있으며, 드문 사례와의 처리에서 어려움을 겪기도 하지만, 신뢰할 수 있는 성능과 사용의 용이성 덕분에 많은 프로젝트에서 선호된다.
• 많은 데이터 과학자들이 랜덤 포레스트의 이러한 점들을 긍정적으로 평가하는 이유가 분명하다. 

---

 

원본 글 링크 : Random Forest explained:

https://towardsdatascience.com/random-forest-explained-a-visual-guide-with-code-examples-9f736a6e1b3c