[cs224n] lecture 1. Introduction and Word Vectors 강의 필기

 

cs224n Lecture1 slide

PLAN

- Human language and word meaning (15 mins)

- Word2vec introduction (15 mins)

- Word2vec objective function gradients (25 mins)

- Optimization basics (5 mins)

- Looking at word vectors (10 mins or less)

 

 

사람이 단어의 뜻을 생각하는 방법

cs224n Lecture1 slide

컴퓨터가 단어를 이해하는 방법?

1. Wordnet

cs224n Lecture1 slide

synonym과 hypernym(유의어와 상위어) 들의 list로 표현하는 방법입니다.

 

Problems

- 단어의 뉘앙스가 변함

- 새로운 단어에는 적용 불가

- 사람이 직접 적용시켜야 함

- 정확한 단어의 유사도를 계산 불가

 

 

2. discrete symbols

cs224n Lecture1 slide

각각의 단어들을 분리된 symbol로 생각하여 one-hot 벡터로 표현하는 방법입니다.

 

Problems

- 단어의 유사도를 계산할 수 없다( vector가 서로 orthogonal 하므로)

 

 

 → solution:  learn to encode similarity in the vectors themselves (벡터간의 유사도)

 

 

Distributional senantics: "단어의 의미는 '자주 나오는 주변 단어'에 의해 만들어진다"

위와 같은 아이디어를 이용하여 단어의 dense vector를 구할 수 있습니다. ⇨ word vector

 

Word vectors ( =word embedding = neural word representations)

 

 

Word2vec 을 적용하면 유사도벡터로 표현된 벡터를 얻을 수 있습니다

 

내포한 벡터를 one-hot 인코딩과 구분하기 위해 Word Embedding으로 표현합니다.