엔트로피는 머신러닝에서 정보량을 나타내는 방법으로 사용된다. 정보의 량이라는게 되게 추상적으로 들리는데, 생각해보면 되게 간단한 개념이다.
ML상에서 굉장히 많이 사용되는 개념인데, 이해하지않고, 아 그냥 쓰면되지 하고 넘어가기에는 너무 찜찜해서 정리하기로 한다.
아, 그리고 스스로이해하기 위해서 동전 예시를 들지 않는다. 동전예시가 엄청나게 많은데 난 스스로의 이해도를 높이기 위해서 다른 예를들어보도록 하겠다!
다음과 같은 예를 들어보자.
A: 커피 내기를 했는데, 모자를 쓴 친구가 커피를 샀어!
B: 커피 내기를 했는데, 옷을 입은 친구가 커피를 샀어!
Question: 어떤사람이 커피를 샀는가?
A, B 라는 두 문장이 있었을 때 당신은 어떤사람이 커피를 샀는지 알고싶다면, 두 정보 중에 어떤 것이 더 값어치가 있다고 생각하는가?
단순하게 생각해보면, 모자 를 쓴 사람 보다 아무 옷 을 입은 사람이 더 많다. 이말인 즉슨 모자를 쓴 사람에 대한 정보로 누가 커피를 샀는지특정하기 쉽다는 것이다. 그러므로 우리는, A 정보가 당신에게 더 값어치가 있다. 이 값어치가 바로 정보량이다.