📌 ACER (Actor-Critic with Experience Replay) 구현 및 분석

🧠 1. 개요

본 과제에서는 DeepMind에서 제안한 ACER (Actor-Critic with Experience Replay) 알고리즘을 이해하고, 이를 CartPole 환경에서 직접 구현하였다.

ACER는 다음 두 가지를 결합한 알고리즘이다:

• Actor-Critic (A3C 계열)
• Experience Replay (DQN 계열)

즉,

"On-policy 안정성 + Off-policy 데이터 효율성"

을 동시에 달성하는 것이 목표이다.

📚 2. 배경 이론 정리

2.1 A3C의 한계

• On-policy 학습
• 데이터 재사용 불가능
• 샘플 효율성 낮음

👉 한 번 사용한 데이터는 버려야 함

2.2 Replay Buffer의 필요성

DQN에서는: