[boostcourse][자연어 처리의 모든것] 기존의 자연어 처리 기법

챕터 1의 2강 : 기존 자연어 처리 기법 소개 

핵심 단어 : BOW, 원핫 벡터, 나이브 베이즈 분류기, 문장 분류 

 

Bag-Of-Words (단어 가방 모형)

• 단어 순서 고려 X, 각 단어들의 출현 빈도(frequency)에만 집중하는 문자형 데이터의 수치화 표현 방법
• 단어를 벡터로 표현하기 위해서는 주어진 문장에 쓰인 단어들을 사전(Vocabulary(key-value) 형태로 저장(중복 허용 X) 
• 저장된 단어들은 각각 유니크한 카테고리 변수(Categorical variable)이므로, 원-핫 인코딩(One-hot Encoding)를 이용해
  벡터로 표현할 수 있고 -> 결국 주어진 문장을 원-핫 벡터의 합, 즉 숫자로 표현(numerical하게) 가능 

 

문장을 구성하고 있는 단어들을 가방에 순차적으로 정리. 

가방에 있는 각 단어들은 각각 원-핫 벡터를 통해 숫자로 변환하며, 주어진 문장은 벡터의 합으로 표현. 

 

 

Naive Bayes Classifier for Document Classification

나이브 베이즈 분류기는 인공 신경망 알고리즘에는 속하지 않지만, 머신러닝의 주요 알고리즘으로 분류.

나이브 베이즈 분류기를 이해하기 위해서는 우선 베이즈의 정리(Bayes' theorem)를 이해해야함. 

베이즈 정리는 조건부 확률을 계산하는 방법. 

 

EX. 

Data	Doc(d)	Document (words, w)	Class (c)
Training	1	Image recognition used convolutional neural networks	CV
	2	Transformers can be used for image classification task	CV
	3	Language modeling uses transformer	NLP
	4	Document classification task is language task	NLP
Test	5	Classification task uses transformer	?

 

학습 데이터를 바탕으로 Test data(5번 문장)을 CV, NLP 두 클래스 중에 한 곳으로 분류하려 한다. 

5번 문장에 있는 각 단어들이 1~4번 문장에 몇 번 등장했는지를 조건부 확률로 계산하면 쉽게 알 수 있다.

 

다만 이 방식의 약점은 다른 단어들이 분류하고자 하는 문장에 많이 등장했을지라도, Training data 에서 1번이라도 등장하지 않았다면
모든 단어들의 확률 곱으로 인해 0으로 수렴한다는 것이다. (이와 같은 파라미터 추정 방식은 최대우도법(MLE)을 기반으로 유도된다.)