기본적으로 yolo-obb에는 두 가지의 최적화 방식이 주어져 있습니다. SGD와 Adam 입니다. 최적화의 방법에 따라, 그리고 옵션에 따라, 데이터에 따라 달라지는게 훈련이기 때문에 30에폭을 기준으로 각각을 비교해볼 생각입니다. 데이터셋은 1000장 데이터셋을 사용합니다.

또, 조사하면서 찾은 것인데 Yolov5의 오리지널 모델에서는 현재 옵티마이저를 [SGD, Adam, AdamW]를 사용하는 것을 볼 수 있었습니다. 그에 따라 AdamW를 사용할 방법이 있는지 확인해보겠습니다.

Yolo-OBB의 Optimizer

Yolov5 ver6.1 Optimizer

Optimizer

각 Optimizer의 성능을 좌지우지 할 수 있는 옵션 값에 대해 설명합니다.

• Momentum
  • 최적화에서 수렴할 때, 기존의 방향상을 잃어버리지 않도록 하는 것입니다.
  • 기존에는 무작위의 방향으로 Gradient가 줄어드는 방식을 택했다면, 모멘텀을 적용하면 여기저기로 튀면서 수렴을 하는 와중에도 올바른 방향을 찾아갈 수 있습니다.
• Nesterov
  • 모멘텀과 유사한 식을 가지고 있습니다.
  • Gradient를 줄이는 방향으로 이동하기전에 사전에 Gradient를 줄여보고 오차가 줄어들지 않는다면 다른 방향으로 줄여나가는 방법을 말합니다.
  • 선지적인 탐험을 하면, 많은 훈련을 진행할 필요없이 Loss 를 줄일 수 있다는 생각에서 빛을 발하게 되었습니다.
• betas = 0.999로 할당되어있는 값입니다.

이처럼 다양한 옵션에 따라 달라지는 것도 Optimizer 함수의 매력입니다. Adam이 어디서든 만능이라고 불리는 최적화 기술이긴하나 이렇게 SGD가 기본 최적화 함수로 되어있는 것을 보면 CNN 에서는 또 통용되지 않는 말이라고 생각해볼 수도 있을 것 같습니다.

AdamW

2019년에 나온 알고리즘을 설명합니다. 기본적인 개념만 파악해보겠습니다. Adam은 만통할 정도로 다양한 모델에 대해 최적화를 잘하는 모델이라고 소문이 난 Optimizer입니다. 하지만 유독 CNN에 대해서만 일반화를 잘 시키지 못한다는 말이 많았다고 합니다. 이러한 문제를 해결하기 위해 나온 방법이 AdamW입니다.