강의노트 정리

Section 2

Unity machine learning agent란? 유니티 환경에서 강화학습 에이전트를 학습시키기 위한 도구이다.

기계 학습이란? 아서 사무엘이 1959년에 IBM의 R&D 저널에서 처음 사용한 개념으로 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행하는 알고리즘 개발에 대한 연구분야이다. 인공신경망(ANN), 결정 트리, 딥러닝 등 유형 - 지도, 비지도, 강화 학습

ㅇ 지도 학습(Supervised Learning) 정답이 있는 데이터 세트를 기반으로 알고리즘이 데이터의 특징을 이용하여 오차를 줄여 나가는 방식으로 학습 학습 완료 시, 정답과 유사한 예측 가능 회귀(Regression), 분류(Classfication) 등의 문제 해결에 사용 예시) 질병의 위험 요소 식별 및 예방 조치 계획, 이메일의 스팸 여부 분류 ㅇ 비지도 학습(Unsupervised Learning) 정답이 존재하지 않고 데이터가 가진 특징만을 기반으로 학습 군집화(Clustering) 등의 문제 해결에 사용 예시) 고객 데이터에서 연관성 식별, 다양한 관심사에 따른 사람 분류 ㅇ 강화학습(Reinforcement Learning) 환경과 상호 작용하여 보상이라는 기준으로 보상을 최대한 많이 받을 수 있도록 학습 명확한 보상을 설정할 수 있는 문제 해결에 사용 예시) 화학 반응 최적화, 차량이 스스로 주차할 수 있도록 교육해 시간 소모 및 시행착오 작업 감소

구체적 예시 처음 주차하는 방법을 배우는 상황

• 에이전트: 주차를 처음하는 사람
• 환경: 주차를 하는 상황
• 과정: 주차를 하다가 주변 장애물과 부딪힘 -> 패널티 주차를 잘하면 뿌듯함 -> 보상 다양한 시도를 통해 점점 부딪히지 않고 주차를 할 수 있도록 학습

강화학습의 기초 용어

1. MDP(Markov Decision Process): 순차적 의사 결정 과정을 수학적으로 모델링한 기법
2. 구성요소: 상태, 행도, 보상 함수, 상태 변환 확률, 감가율
3. Agent: 강화학습에서 의사결정을 하는 역할
4. 환경(Enviroment): 에이전트의 의사 결정을 반영하며 정보를 주는 시스템
5. 관측(Observation): 환경에서 제공하는 정보(유니티 머신러닝 에이전트에서는 이를 시각적 or 수치적으로 구분) ⏵시작적 관측(Visual Observation) - 정보를 이미지로 표현 ⏵수치적 관측 (Vector Observation)- 정보를 벡터(값들의 집합)로 표현
6. 상태(State): 현재 에이전트가 상황을 인지하기 위해 사용하는 정보(관측, 행동 등의 정보 가공)
7. 행동(Action): 에이전트가 의사 결정을 통해 취할 수 있는 행동(이산적인 행동, 연속적인 행동) ⏵이산적인 행동(Dicrete Action) - 행동의 선택지 중 하나를 선택하여 행동 ⏵연속적인 행동(Continuous Action) - 특정 값(실수)을 수치로 입력하여 행동
8. 스텝: 에이전트가 한번 행동을 취함