gyuuuna space

지난번 논문에 이어 Word Representation Model에 관한 또다른 유명한 논문, ```GloVe: Global Vectors for Word Representation```을 읽었다. 논문을 두세 편 읽으면서 word vector representation model들의 원리를 조금이나마 익혔지만, 이론 습득만을 위해 논문을 읽는 건 아니다. 연구자의 관점에서 새롭게 개발한 하나의 기법을 바라볼 수 있게 된달까. 원문을 읽지 않고 블로그 글이나 유튜브로 공부했다면 알고리즘 자체의 내용과 이론적 배경 정도만 공부했을 것이다. 원문을 읽으니 모델의 성능을 테스트할 수 있는 여러가지 방법, 다른 모델과 변인 통제를 해가며 비교하는 방법, 모델의 성능 외에 모델에 관련된 다른 지표 등에 대해서도 ..

`Efficient Estimation of Word Representations in Vector Space`이라는 NLP에서의 기초 논문 중 하나를 읽었다. 완독하는 데에는 2시간 정도가 걸린 것 같다. Google에서 CBOW와 Skip-Gram이라는 이제는 모르는 사람이 없을(?) 두 가지 유명한 워드 임베딩 모델을 제안한 논문이다. 고등학교 때부터 이 모델들 이름을 들어봤는데, 이게 처음 제안된 논문을 이제와서야 읽게 된다는 게 우습기도 하지만 꽤 뜻깊다. 논문을 많이 읽어보지는 않아서 완전히 이해하지도 못했고 잘못 이해한 부분이 있을지도 모르겠지만, 여러가지로 더 많이 공부하다보면 이 논문을 다시 읽을 때 이해가 절로 깊어질 거라고 믿는다. 앞으로는 이 모델을 내가 직접 구현해 볼 수 있었으면..