https://youtu.be/dcsvMlyhhAI?si=gebiYKKA17xiRIOZ

기존 AI는 초기 가중치를 랜덤하게 설정함으로써 잘못된 정보에 대한 근거 없는 과신이 생길 수 있다. 학습을 통해 가중치가 업데이트 되긴 하지만 그 한계가 할루시네이션과 같은 형태로 드러난다.

할루시네이션 해결을 위해 AI에게 질문과 정답의 연관성이 없는 데이터로 ‘나는 아무것도 모르는 상태’라는 것을 먼저 인식 시킨 후, 의미 있는 데이터로 지식을 학습 시킨다. 따라서 모르는 걸 모른다고 대답할 수 있는, 할루시네이션을 획기적으로 줄인 AI를 만들 수 있다.

이미 대량의 데이터로 학습된 모델(ex. GPT 등)의 경우 적용하기 쉽지 않지만, 새로 만들어지는 AI 특히 챗봇의 경우 효과적으로 적용할 수 있는 기법이다.

Q. 질문과 정답에 연관성이 없는 데이터로 학습을 시키는 과정에서도 초기 가중치는 랜덤으로 설정될텐데, 그럼 여기서조차 결국은 랜덤 가중치로 인한 가짜 확신이 발생할 수도 있는 것 아닌가?

A. 초기 가중치는 여전히 랜덤이지만, 그 랜덤함이 낳은 ‘가짜 확신’에 강한 패널티를 주는 과정이 추가되는 것임.

• 가짜 확신 발생 : 랜덤 가중치 때문에 무의미한 질문에 대해 모델이 특정 정답일 확률이 높다고 (ex. 90%) 확신한다면,
• 학습의 개입 : 이때 그 확신이 90% 틀렸다고 패널티를 매우 강하게 주고, 연관성이 없는 경우 모든 정답 후보의 확률을 똑같이(ex. 10%, 10%, …) 설정하게끔 강제로 업데이트함.
• 결과 : 이 과정을 반복하면 모델의 가중치는 모르는 패턴이 들어오면 특정 정답을 찍지 않고, 확률을 골고루 분산 시키게 됨. 즉, 학습하지 못한 패턴을 마주하면 엔트로피를 최대화 시키는 방향으로 학습되는 방식.

So, 이렇게 하면 모델은 자기가 확실히 배운 데이터에 대해서만 높은 확신을 갖고, 배우지 않은 패턴에 대해서는 ‘모른다’라고 반응하게 됨.

랜덤 가중치로 인한 가짜 확신은 여전히 발생하지만, ‘모름’ 학습을 통해 그 확신이 잘못된 것임을 스스로 판단할 수 있게 만드는 것.

Q. Unseen data에 대해 '모른다'고 답하는 것이 AI의 일반화 성능과 충돌하지 않는가? (‘모름’을 학습하는 것이 최종 추론에 방해가 되지는 않는지 의문.)

A. **‘일반화’**와 **‘할루시네이션’**의 한 끗 차이

AI가 좋은 성능을 낸다는 것은 학습 데이터와 유사한 패턴을 가진 Unseen data에서 정답을 맞히는 능력이다. 하지만 데이터의 성격(정보,패턴)이 아예 다르다면 이야기가 달라진다.

• 추론 : 배운 지식을 바탕으로 새로운 사례를 해결
• 할루시네이션 : 배운 적도 없고 연관도 없는 데이터를 보고 억지로 아는 척