[한국어 임베딩_이기창] 1장 서론 (2)

1장을 읽으며 특별히 기억해야겠다는 내용 중 일부만 정리해보았다. 

1장에서는 임베딩의 개념과 종류, 역사에 대해 살펴보았다. 

 

---

기계의 자연어 이해와 생성은 연산이나 처리의 영역이다. 

자연어 처리 분야에서 임베딩이란 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 의미한다. 단어나 문장 각각을 벡터로 변환해 벡터 공간으로 끼워 넣는다 라는 의미에서 임베딩이라는 이름이 붙었다. 

 

임베딩은 다음과 같은 역할을 수행한다고 생각할 수 있다. 

1, 단어/문장 간의 관련도 계산 

2. 의미적/문법적 정보 함축 

3. 전이 학습 

 

임베딩은 벡터인 만큼 사칙연산이 가능하다. 단어 벡터 간 덧셈/뺄셈을 통해 단어들 사이의 의미적, 문법적 관계를 도출해낼 수 있다. 

 

딥러닝 모델은 입력과 출력 사이의 관계를 잘 근사;approximation하기 때문에 사람이 모델에 규칙을 굳이 직접 알려주지 않아도 된다. 

데이터를 통째로 모델에 넣고 입출력 사이의 관계를 사람의 개입 없이 모델 스스로 처음부터 끝까지 이해하도록 유도한다. 

이런 기법을 end-to-end model이라고 부른다. 기계 번역에 널리 쓰였던 sequence-to-sequence 모델이 엔드투엔드의 대표 사례다. 

 

문장을 이처럼 토큰 시퀀스로 분석하는 과정을 tokenize;토크나이즈 라고 한다. 

오픈소스 형태소 분석기 : 은전한닢Mecab,꼬꼬마Kkma