<aside> 📚 📝 목차

1️⃣ 핵심 아이디어 - Word2Vec의 기본 개념 2️⃣ 기존 방식의 문제 - 왜 등장했나? 3️⃣ Word2Vec의 혁신 - 무엇이 다른가? 4️⃣ 두 가지 학습 방법 - CBOW vs Skip-gram 5️⃣ 벡터 연산의 마법 - 놀라운 결과 6️⃣ 실험 결과 - 성능 비교 7️⃣ 수식 설명 - 기술적 내용 8️⃣ 계층적 소프트맥스 - 핵심 기술 9️⃣ 영향과 의의 - 역사적 중요성 🔟 실용적 가이드 - 어떻게 사용할까? 🎆 결론 - 핵심 내용 요약

</aside>

🧠 Word2Vec: 단어를 숫자로 변환하는 혁신적인 방법

<aside> 📄 📝 논문 정보 저자: Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean (Google Inc.) 발표: 2013년

</aside>

🎯 핵심 아이디어

"비슷한 문맥에서 사용되는 단어들은 비슷한 의미를 가진다"

이 간단한 아이디어로 컴퓨터가 단어의 의미를 이해할 수 있게 되었습니다.

🚫 기존 방식의 문제

• 💫 단어를 단순한 번호로 처리하는 방식

✨ Word2Vec의 혁신

• 📏 분산 표현 (Distributed Representation)

🎯 두 가지 학습 방법

<aside> 🎯 CBOW (Continuous Bag-of-Words)

</aside>

주변 단어들을 보고 가운데 단어를 맞추는 방식

예시: "나는 ___ 을 좋아한다"

• 입력: "나는", "을", "좋아한다"
• 출력: "사과" (예측해야 할 단어)

특징:

• ☁️ 빠른 학습 속도
• 📈 자주 나오는 단어들에 좋은 성능
• ⚡ 계산이 효율적

<aside> 🎯 Skip-gram

</aside>

가운데 단어를 보고 주변 단어들을 맞추는 방식

예시: "사과"가 주어졌을 때

• 입력: "사과"
• 출력: "나는", "을", "좋아한다"

특징:

• 🔍 드물게 나오는 단어들도 잘 학습
• 🎯 의미적 관계를 더 잘 포착
• 🐢 CBOW보다 느리지만 더 정확

🎩 단어의 수학: 벡터 연산의 마법

<aside> ✨ 🔮 놀라운 발견 단어들 사이의 관계가 벡터의 덧셈과 뺄셈으로 표현된다!

</aside>

• 👑 유명한 예시들
• 📊 다양한 관계 유형

📈 실험 결과 및 성능

<aside> 🚀 ⚡ 성능의 혁명 기존 RNN: 8주 (1개 CPU) Word2Vec: 1일 미만

16억 개의 단어로 이루어진 대용량 데이터에서 하루 만에 고품질 단어 벡터 학습!

</aside>