| |
feature importance |
permutation importance |
| 의미 |
각 피쳐가 분할(split)에 기여하는 정도를 계산한 값. 모델이 예측을 수행할 때 얼마나 중요하게 사용되었는지를 나타냄 |
하나의 피쳐를 무작위로 섞은 후, 섞기 전과 후의 예측 모델 성능이 얼마나 감소하는지를 기반으로 특성의 중요도를 측정. 성능 감소가 클수록 해당 특성이 중요하다고 판단. |
| 사용 모델 |
주로 트리 기반 모델에서 사용 |
다양한 모델에 적용 가능 |
| 계산 순서 |
모델 학습 중, 각 피쳐가 분할에 기여한 정도를 계산 |
학습 이후에 모델의 성능 비교 |
| 장점 |
- 상대적으로 계산이 빠르다
- 각 트리의 분할에서 직접적으로 계산되므로 해석이 용이하다 |
- 모델의 내부 구조나 동작 방법에 대해 의존성이 낮음
- 다양한 모델에서 사용 가능 |
| 단점 |
- 트리 기반 모델에서만 사용 가능
- 각 피쳐 간의 상관관계는 고려되지 않음 (이 또한 트리 기반의 모델 특징)
- 트리 모델의 분할 방식에 따라 값이 달라질 수 있음 (모델에 대한 의존성이 큼) |
- 계산 비용이 높음
- 피쳐를 무작위로 섞는 과정에서 결과값이 달라질 수 있음
- 각 피쳐 간의 상관관계는 고려되지 않음 |
| 선택 상황 |
모델의 해석이 중요한 경우에 유용 |
다양한 모델에서 적용 가능 |