1. AWS DeepRacer 원리

AWS DeepRacer는 자율 주행 강화학습 플랫폼입니다.

기본적으로 미니 RC카(하드웨어)와 AWS 환경(소프트웨어, 시뮬레이터)을 통해, 강화학습(Reinforcement Learning, RL) 원리를 실습할 수 있도록 설계되어 있습니다.

2. DeepRacer 동작 원리 단계별

(1) 환경(Environment)

• 시뮬레이터(가상 트랙) 또는 실제 물리 트랙
• 차량의 센서(카메라, IMU, 속도 센서 등)가 주변 정보를 수집
• 입력: 도로 경계, 위치, 속도, 방향

(2) 상태(State)

• 센서가 수집한 데이터 → 신경망 입력값
• 예:
  • 카메라 이미지 (시야)
  • 현재 속도
  • 트랙 위 위치
  • 진행 방향

(3) 행동(Action)

• 모델이 선택할 수 있는 조작:
  • 조향각 (왼쪽, 직진, 오른쪽)
  • 속도(가속/감속)

(4) 보상 함수(Reward Function)

• 사용자가 직접 작성 (Python 코드)
• 매 단계마다 행동의 “좋음/나쁨”을 수치로 반환
• 예:
  • 트랙 중앙 유지 시 +1
  • 경계선 벗어나면 -1
  • 속도가 빠르면 추가 보상

(5) 학습(Training)

• 강화학습 알고리즘(AWS는 기본적으로 PPO: Proximal Policy Optimization 사용)