본문 바로가기

분류 전체보기38

[한국어 임베딩_이기창] 1장 서론 (2) 1장을 읽으며 특별히 기억해야겠다는 내용 중 일부만 정리해보았다. 1장에서는 임베딩의 개념과 종류, 역사에 대해 살펴보았다. 기계의 자연어 이해와 생성은 연산이나 처리의 영역이다. 자연어 처리 분야에서 임베딩이란 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 의미한다. 단어나 문장 각각을 벡터로 변환해 벡터 공간으로 끼워 넣는다 라는 의미에서 임베딩이라는 이름이 붙었다. 임베딩은 다음과 같은 역할을 수행한다고 생각할 수 있다. 1, 단어/문장 간의 관련도 계산 2. 의미적/문법적 정보 함축 3. 전이 학습 임베딩은 벡터인 만큼 사칙연산이 가능하다. 단어 벡터 간 덧셈/뺄셈을 통해 단어들 사이의 의미적, 문법적 관계를 도출해낼 수 있다. 딥러닝 모.. 2024. 1. 25.

[한국어 임베딩_이기창] (1) 각 챕터별 내용 한눈에 살펴보기 1장 서론 - 임베딩의 정의, 역사와 종류등을 살피며 도커와 같은 개발환경을 구성하는 과정 설명 2장 벡터가 어떻게 의미를 가지게 되는가 - 자연어의 의미를 임베딩에 어떻게 함축시킬수있는지, - 각 임베딩 기법들은 크고 작은 차이가 있지만 말뭉치;corpus의 통계적 패턴 정보;statistical pattern를 반영한다는 점에서 공통적이다. 3장 한국어 전처리 - 임베딩 학습을 위한 한국어 데이터의 전처리 과정 - 웹 문서/json 파일 같은 형태의 데이터를 순수 텍스트 파일로 바꾸며 여기에 형태소 분석+띄어쓰기 교정을 실시하는 방법 설명 4장 단어 수준 임베딩 - 다양한 단어 수준 임베딩 모델을 설명 - NPLM, Word2Vec, FastText 등은 예측기반 모델.. 2024. 1. 25.

[boostcourse][자연어 처리의 모든것] 기존의 자연어 처리 기법 챕터 1의 2강 : 기존 자연어 처리 기법 소개 핵심 단어 : BOW, 원핫 벡터, 나이브 베이즈 분류기, 문장 분류 Bag-Of-Words (단어 가방 모형) 단어 순서 고려 X, 각 단어들의 출현 빈도(frequency)에만 집중하는 문자형 데이터의 수치화 표현 방법 단어를 벡터로 표현하기 위해서는 주어진 문장에 쓰인 단어들을 사전(Vocabulary(key-value) 형태로 저장(중복 허용 X) 저장된 단어들은 각각 유니크한 카테고리 변수(Categorical variable)이므로, 원-핫 인코딩(One-hot Encoding)를 이용해 벡터로 표현할 수 있고 -> 결국 주어진 문장을 원-핫 벡터의 합, 즉 숫자로 표현(numerical하게) 가능 문장을 구성하고 있는 단어들을 가방에 순차적으로.. 2024. 1. 24.

[논문 초록💚] Attention is All you Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. 지배적인 시퀀스 변환 모델(dominant sequence transduction models)은 encoder 및 decoder를 포함하는 복잡한 순환 신경망 또는 컨볼루션 신경망을 기반으로 한다. 최고의 성능을 자랑하는 모델들은 어텐션 메커니즘(attention mechanis.. 2024. 1. 24.

이전 1 2 3 4 ··· 10 다음

티스토리툴바