[한국어 임베딩_이기창] (1)

 

각 챕터별 내용 한눈에 살펴보기 

1장 서론 

- 임베딩의 정의, 역사와 종류등을 살피며 도커와 같은 개발환경을 구성하는 과정 설명 

 

2장 벡터가 어떻게 의미를 가지게 되는가

- 자연어의 의미를 임베딩에 어떻게 함축시킬수있는지, 

- 각 임베딩 기법들은 크고 작은 차이가 있지만 말뭉치;corpus의 통계적 패턴 정보;statistical pattern를 반영한다는 점에서 공통적이다. 

 

3장 한국어 전처리 

- 임베딩 학습을 위한 한국어 데이터의 전처리 과정 

- 웹 문서/json 파일 같은 형태의 데이터를 순수 텍스트 파일로 바꾸며 여기에 형태소 분석+띄어쓰기 교정을 실시하는 방법 설명

 

4장 단어 수준 임베딩 

- 다양한 단어 수준 임베딩 모델을 설명 

- NPLM, Word2Vec, FastText 등은 예측기반 모델, 

- LSA, GloVe, Swivel 등은 행렬분해;matrix factorization 

- 가중 임베딩;weighted embedding은 단어 임베딩을 문장 수준으로 확장하는 방법 

 

5장 문장 수준 임베딩 

- 문장 수준 임베딩을 다루며, 행렬분해, 확률 모델, 뉴럴 네트워크 기반 모델 등 세 종류를 소개 

- 잠재 의미 분석;LSA은 행렬분해, 잠재 디리킬레 할당 LDA는 확률 모델, 

- Doc2Vec, ELMo, GPT, BERT등은 뉴럴 네트워크가 중심인 방법 -> 특히 GPT, BERT는 셀프 어텐션self-attention기반의 트렌스포머 네트워크;transformer network 가 그 뼈대를 이루고 있다. 

 

6장 임베딩 파인 튜닝 

- 단어, 문장 수준 임베딩을 파인 튜닝하는 방법을 다룸

- 네이버 영하 리뷰 말뭉치로 극성을 분류하는 과제 수행 

 

부록 

- 이 책을 이해하는데 필요한 상식 소개 

- 선형대수학, 확률론, 뉴럴 네트워크, 국어학 등의 내용 간략히 소개