[Machine Learning] Hyperparameter Tuning

✋ Hyperparameter Tuning

- 목적 : 훈련 평가 / 검증 평가 사이의 차이가 최소가 되도록 만드는 것 (Overfitting 방지)

 

👉 Hyperparameter 의 수가 너무 많기 때문에, 최적의 parameter 를 찾아주는 도구들을 써서 찾아낸다

 

https://communities.sas.com/t5/SAS-Tech-Tip

✋ 1) Grid Search

: 대체 모델 구성(alternative model configrations) 을 탐색하는 일반적인 접근 방식은 그리드 검색 방법을 사용

 

👉 모델 하이퍼 파라미터에 넣을 수 있는 값들을 순차적으로 입력한 뒤에,

      가장 높은 성능을 보이는 하이퍼 파라미터 값을 찾는 탐색 방법

 

🎈 관심있는 매개변수들을 대상으로 가능한 모든 조합을 시도하여 최적의 매개변수를 찾는 방법으로

     매개변수를 튜닝하여 일반화 성능을 개선

✋ 2) Random Search

: 하이퍼 파라미터 값을 랜덤하게 넣어보고 그 중 우수한 값을 보이는 하이퍼 파라미터를 활용해 모델을 생성

 

👉 그리드 검색 방법은 모든 값을 탐색해야하며, 어떤 값이 효과적인지 알 수 없음

      But, 랜덤 검색 방법은 랜덤하게 숫자를 넣은 뒤 정해진 간격(grid) 사이에 위치한 값들에 대해서도

     확률적으로 탐색이 가능하여 최적의 hyper parameter 값을 더 빨리 찾을 수 있음

✋ 3) Latin HyperCube

: 데이터가 고르게 분포되어 있는 특징이 있음

 

👉 1. 각 정의된 분포에서 무작위로 값을 선택하고 균일하게 분산

      2. 각 가정의 확률 분포를 각각 같은 확률의 겹치지 않은 세그먼트로 나눔

      3. 시뮬레이션이 실행되는 동안 세그먼트의 확률 분포에 따라 각 세그먼트의 무작위 가정 값을 선택

      ▷ 각 세그먼트를 정확히 한 번 샘플링한 후에는 시뮬레이션이 중지될 때까지 프로세스가 반복

          전체 범위의 분포가 보다 균일하고 일관되게 샘플링 됨

          시뮬레이션 통계를 계산하는 경우보다 정확한 결과값을 도출

✋ 4) Optimization

: 머신러닝과 scoring 알고리즘은 복잡한 블랙박스이기 때문에 어려운 최적화 문제를 만들어냄

 

hyper parameter 최적화 시 어려움

 

📢 머신러닝 알고리즘은 일반적으로 연속형 / 범주형 / 정수형 변수를 모두 포함

      이러한 변수들은 목표에서 매우 불연속적인 변경(=discrete change)을 초래

 

📢 Noisy or nondeterministic (= 결정적이지 못한) : 매개 변수 공간이 불연속적이고 컴퓨팅 노드가 실패하여 검색 전략을

                                                                                  무산시킬 수 있기 때문에 객관적인 평가가 실패

 

📢 Flat regions : 공간에는 많은 구성이 매우 유사한 모델을 생성하는 많은 평평한 영역이 포함

 

📢 서로 다른 하이퍼 매개 변수 값을 사용하여 예측 모델을 train / validataion 하는 예측 불가능한 계산 비용

 

 

💡 따라서, Hyper Parameter 값 설정에 대한 유연하고 효과적인 전략이 필요!!