호기심 주도 탐험

희소 보상 문제

• 환경이 보상을 너무 드물게 제공하는 탓에 학습이 제대로 일어나지 않는 것.

• 다수의 부분 목표를 달성한 후에야 보상을 받기 때문에 에이전트가 보상 신호만으로는 학습을 하기가 불가능함

• 환경이 제공하는 외적인 보상 뿐만 아니라 내재적인 보상을 활용함 (호기심이라 칭함)

  

예측 부호화를 이용한 희소 보상 문제 해결

• 예측 부호화 모형

  • 예측 오차 = 경험하리라 기대한 것과 실제로 경험한 것 사이의 오차
  • 이를 최소화하려는 알고리즘

• 사람의 측면에서

  • 예상 외의 일이 발생하면 예측 오차가 커짐 → 다음부턴 놀라지 않도록 매개변수 갱신
  • → 예측 오차가 점차 줄어드는 효과
  • 호기심?? : 환경의 불확실성을 줄이려는(예측 오차를 줄이려는) 일종의 욕구

• 강화학습에 접목하려는 시도 ⇒ 예측 오차 메커니즘

  • 환경이 제공하는 외적인 보상을 최대화하고 동시에 에이전트가 취한 행동에 의해 환경이 어떤 상태로 변할 지 예측하고 그 오차를 줄이는 것을 목표로 해서 훈련함.

    

  ⇒ 내적 보상에 해당하는 예측 오차와 외적 보상에 해당하는 환경 보상을 합한 것을 에이전트에 대한 보상 신호로 활용.

  • 에이전트는 환경 보상을 최대화 하고, 환경에 대한 자신의 호기심을 더 충족하기 위해 행동함
  • “잡음 많은 TV”문제를 드러냄.
    • 어느 정도의 무작위성이 항상 존재하는 환경에서는 에이전트의 예측 오차가 계속 높은 수준을 유지.
    • 내적인 보상이 끊임없이 제공되기 때문에 에이전트가 탐험에만 치중하게 됨.
    • 예측 오차의 변화량에 주목하는 방법도 존재하였지만 큰 의미를 얻기 힘듦

역방향 동역학 예측

• 순방향 예측 모형

  • 상태와 동작을 받고 다음 상태의 예측을 돌려줌, 환경의 향후 상태(순방향)를 예측

• 역방향 모형

  • 학습의 안전성을 위해서는 상태의 중요한 측면을 예측해야 한다.

    • 사소하거나, 제어 불가능한 측면이 아니라..

    • ‘중요하지 않음’ 제약을 가하기 위해 도입

    • 상태와 다음 상태를 받고 해당 상태 전이를 유발한 동작을 예측한다.

      

• 부호화 모형

  • 하나의 상태를 받고 그것을 부호화해서(낮은 차원으로 바꾼) 상태를 돌려줌
  • 직접 훈련되지 않고 역방향 모형이 동작을 더 잘 예측할 수 있도록 부호화하는 방법을 배우게 됨.

• ⇒ 순방향 모형에서 부호화로는 역전파를 수행하지 않는다.

  • 부호기 모형의 학습에 영향을 끼치므로

    

    

    

슈퍼 마리오브라더스

• ICM(내재적 호기심 모듈) : 순방향 모형, 역방향 모형, 부호기 모형 조합한 구조
• 유일한 목적: 에이전트가 호기심을 가지고 환경을 탐험하게 만드는 내재적 보상을 산출하는 것