[머신러닝] 7주차. 베이지안 최적화

 

(베이지안 최적화 필요성)

가능한 최소의 시도로 최적의 답을 찾아야 할 경우, 개별 시도가 너무 많은 시간/자원이 필요할 때

 

(베이지안 최적화 개요)

미지의 함수가 반환하는 값의 최소/최대값 만드는 최적해를 찾아내는 방식.

새로운 데이터 입력 받았을 때 최적 함수를 예측하는 사후 모델을 개선해 나가면서 최적함수 도출

 

(베이지안 최적화 수행 단계)

Step 1. 랜덤하게 하이퍼 파라미터들을 샘플링하여 성능 결과 관측.

Step 2. 관측된 값 기반으로 대체 모델은 최적 함수를 예측 추정.

Step 3. 획득 함수에서 다음으로 관측할 하이퍼 파라미터 추출.

Step 4. 해당 하이퍼 파라미터로 관측된 값을 기반으로 대체 모델은 다시 최적 함수 예측 추정.

 

(베이지안 최적화 구현 요소)

1)     입력 값 범위

2)     함수(출력 값이 무엇인지)

3)     함수 반환 최대/최소값 유추

 

(베이지안 최적화를 구현한 주요 패키지)

1)     HyperOpt

2)     Bayesian optimization

3)     Optuna

 

(HyperOpt)

TPE : Tree Parzen Estimation

이 자체가 베이지안 최적화를 하는 것은 아니고 함수의 최소값을 찾아주는 역할을 해서 코드를 활용하여 베이지안 최적화를 할 수 있음.