호기심 주도 탐험

희소 보상 문제

예측 부호화 모형
- 예측 오차 = 경험하리라 기대한 것과 실제로 경험한 것 사이의 오차
- 이를 최소화하려는 알고리즘
사람의 측면에서
- 예상 외의 일이 발생하면 예측 오차가 커짐 → 다음부턴 놀라지 않도록 매개변수 갱신
- → 예측 오차가 점차 줄어드는 효과
- 호기심?? : 환경의 불확실성을 줄이려는(예측 오차를 줄이려는) 일종의 욕구
강화학습에 접목하려는 시도 ⇒ 예측 오차 메커니즘
- 환경이 제공하는 외적인 보상을 최대화하고 동시에 에이전트가 취한 행동에 의해 환경이 어떤 상태로 변할 지 예측하고 그 오차를 줄이는 것을 목표로 해서 훈련함.
⇒ 내적 보상에 해당하는 예측 오차와 외적 보상에 해당하는 환경 보상을 합한 것을 에이전트에 대한 보상 신호로 활용.
- 에이전트는 환경 보상을 최대화 하고, 환경에 대한 자신의 호기심을 더 충족하기 위해 행동함
- “잡음 많은 TV”문제를 드러냄.
  - 어느 정도의 무작위성이 항상 존재하는 환경에서는 에이전트의 예측 오차가 계속 높은 수준을 유지.
  - 내적인 보상이 끊임없이 제공되기 때문에 에이전트가 탐험에만 치중하게 됨.
  - 예측 오차의 변화량에 주목하는 방법도 존재하였지만 큰 의미를 얻기 힘듦

순방향 예측 모형
- 상태와 동작을 받고 다음 상태의 예측을 돌려줌, 환경의 향후 상태(순방향)를 예측
역방향 모형
- 학습의 안전성을 위해서는 상태의 중요한 측면을 예측해야 한다.
  - 사소하거나, 제어 불가능한 측면이 아니라..
  - ‘중요하지 않음’ 제약을 가하기 위해 도입
  - 상태와 다음 상태를 받고 해당 상태 전이를 유발한 동작을 예측한다.
부호화 모형
- 하나의 상태를 받고 그것을 부호화해서(낮은 차원으로 바꾼) 상태를 돌려줌
- 직접 훈련되지 않고 역방향 모형이 동작을 더 잘 예측할 수 있도록 부호화하는 방법을 배우게 됨.
⇒ 순방향 모형에서 부호화로는 역전파를 수행하지 않는다.
- 부호기 모형의 학습에 영향을 끼치므로