본문 바로가기

전체 글38

[한국어 임베딩_이기창] 1장 서론 (2) 1장을 읽으며 특별히 기억해야겠다는 내용 중 일부만 정리해보았다. 1장에서는 임베딩의 개념과 종류, 역사에 대해 살펴보았다. 기계의 자연어 이해와 생성은 연산이나 처리의 영역이다. 자연어 처리 분야에서 임베딩이란 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 의미한다. 단어나 문장 각각을 벡터로 변환해 벡터 공간으로 끼워 넣는다 라는 의미에서 임베딩이라는 이름이 붙었다. 임베딩은 다음과 같은 역할을 수행한다고 생각할 수 있다. 1, 단어/문장 간의 관련도 계산 2. 의미적/문법적 정보 함축 3. 전이 학습 임베딩은 벡터인 만큼 사칙연산이 가능하다. 단어 벡터 간 덧셈/뺄셈을 통해 단어들 사이의 의미적, 문법적 관계를 도출해낼 수 있다. 딥러닝 모.. 2024. 1. 25.

[한국어 임베딩_이기창] (1) 각 챕터별 내용 한눈에 살펴보기 1장 서론 - 임베딩의 정의, 역사와 종류등을 살피며 도커와 같은 개발환경을 구성하는 과정 설명 2장 벡터가 어떻게 의미를 가지게 되는가 - 자연어의 의미를 임베딩에 어떻게 함축시킬수있는지, - 각 임베딩 기법들은 크고 작은 차이가 있지만 말뭉치;corpus의 통계적 패턴 정보;statistical pattern를 반영한다는 점에서 공통적이다. 3장 한국어 전처리 - 임베딩 학습을 위한 한국어 데이터의 전처리 과정 - 웹 문서/json 파일 같은 형태의 데이터를 순수 텍스트 파일로 바꾸며 여기에 형태소 분석+띄어쓰기 교정을 실시하는 방법 설명 4장 단어 수준 임베딩 - 다양한 단어 수준 임베딩 모델을 설명 - NPLM, Word2Vec, FastText 등은 예측기반 모델.. 2024. 1. 25.

[boostcourse][자연어 처리의 모든것] 기존의 자연어 처리 기법 챕터 1의 2강 : 기존 자연어 처리 기법 소개 핵심 단어 : BOW, 원핫 벡터, 나이브 베이즈 분류기, 문장 분류 Bag-Of-Words (단어 가방 모형) 단어 순서 고려 X, 각 단어들의 출현 빈도(frequency)에만 집중하는 문자형 데이터의 수치화 표현 방법 단어를 벡터로 표현하기 위해서는 주어진 문장에 쓰인 단어들을 사전(Vocabulary(key-value) 형태로 저장(중복 허용 X) 저장된 단어들은 각각 유니크한 카테고리 변수(Categorical variable)이므로, 원-핫 인코딩(One-hot Encoding)를 이용해 벡터로 표현할 수 있고 -> 결국 주어진 문장을 원-핫 벡터의 합, 즉 숫자로 표현(numerical하게) 가능 문장을 구성하고 있는 단어들을 가방에 순차적으로.. 2024. 1. 24.

[논문 초록💚] Attention is All you Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. 지배적인 시퀀스 변환 모델(dominant sequence transduction models)은 encoder 및 decoder를 포함하는 복잡한 순환 신경망 또는 컨볼루션 신경망을 기반으로 한다. 최고의 성능을 자랑하는 모델들은 어텐션 메커니즘(attention mechanis.. 2024. 1. 24.

[boostcourse][자연어 처리의 모든것] 자연어 처리 활용 분야와 트렌드 boostcourse를 통해 KAIST 주재걸 교수님의 "자연어 처리의 모든 것" 강의를 듣게 되었다. 요즘 연구실에서 공부하게 된 분야가 언어모델인데, 언어모델에 들어가기에 앞서서 딥러닝과 자연어 처리 공부를 시작해야해서 무료 강의를 서치하다가 알게 되었다. 첫번째 강의는 "자연어 처리 활용 분야와 트렌드"였는데, 자연어 처리가 무엇인지뿐 아니라 기술이 활용되는 분야와 관련 학회까지 알아보니 앞으로이 학습에 큰 동기부여가 되었다. 특히 텍스트 마이닝 기술에서 computational social science(빅데이터 분석 기반 사회과학)가 나와 정말 잘 맞을 것 같다는 생각이 들어 앞으로의 공부할 분야에 대한 기대가 크다. 강의 피피티는 구할 수 없지만, 요약된 내용이 함께 공유되어 복습할 때 참고해.. 2024. 1. 24.

[pytorch zero to all 강의 내용 정리] 3강 gradient descent 강의 주제 : 3강 Gradient descendent - 경사 하강법 강의 목표 : 경사하강법 알고리즘에 대해 알아보고 손실을 최소화하는 W값을 찾는 과정과 방법을 알아본다. 또한 방정식을 사용하여 가중치를 업데이트하고 기울기를 계산하는 방법에 대해 이야기한다. - 🎯 The goal of training or learning in machine learning is to find the optimal value of W that minimizes the loss function. - 🧭 The gradient descent algorithm provides a systematic way to identify the optimal value of W by iteratively updating the w.. 2024. 1. 14.

[pytorch zero to all 강의 내용 정리] 2강 Linear Model - 선형 모델 캡스톤 주제가 LLM을 이용한 검색 엔진 제작으로 좁혀지면서 파이토치 스터디를 겨울방학동안 시작했습니다. 교수님께서 공유해주신 pytorch zero to all 강의를 수강하면서 정리한 내용을 공유하고자 합니다. 수학적인 내용과 원리에 대해서는 간단히 정리하고 강의의 숲을 보는 주제위주로 정리한 부분이니 저처럼 파이토치에 제로베이스였던 분들께서는 한번 읽고 파이토치 스터디를 시작하시는게 도움이 될 것 같습니다. 13강까지 내용을 전부 올리고 이후 추가적인 스터디를 진행할때마다 시간을 내어 공부 내용을 정리하고자 합니다. 강의 목표 : 파이토치의 선형 모델 개념을 이야기하고 지도 머신러닝에서 선형 모델이 사용되는 방법과 모델학습 및 평가 과정을 설명한다. 또한 손실 계산과 평균제곱오차(MSE)를 사용하여.. 2024. 1. 7.

[c++] Infix expression을 Postfix expression으로 변환하기 문제 Infix expression을 Postfix expression으로 변환하는 프로그램을 작성하시오. 문제 포인트 1) stack class를 구현할 수 있는가 2) stack의 기본 성질(push, pop, top_element 등)을 알고 구현할 수 있는가 3) bool 타입 + 조건문이 들어간 함수를 구현할 수 있는가 4) infix 와 postfix를 이해하는가 5) main함수 외 다른 함수를 구현하고 이를 호출하여 사용할 수 있는가 6) 사용자 지정 우선순위를 만들어 이를 반영하는 함수 조건문을 구현할 수 있는가 #include #include #define SIZE 100 #define EOS '$' using namespace std; class op_stack { char s[SIZ.. 2023. 9. 24.

[c++] stack class를 구현하여 주어진 배열에100보다 큰 값 역순으로 출력하기 문제 정수 원소를 저장하는 stack을 class를 사용하여 구현하고, 이를 이용하여, 주어진 array의 정수 원소 n개 에서 100보다 큰 값을 역순으로 출력하는 프로그램을 작성하시오. (다음 main() 함수가 동작하도록 나머지 부분을 작성) int main() { mystack s1; int list[5] = { 32, 123, 27, 131, 242 }, i, x; s1.init(); for (i = 0; i 100) s1.push( list[i] ); while ( ! s1.stack_empty( ) ) { x = s1.pop( ); cout 2023. 9. 24.

[네트워크] #02. 네트워크 분류 지난 시간-네트워크 기초에서 못 다한 이야기로 네트워크 분류가 있다. 말 그대로, 네트워크를 어떻게 분류하는지에 대한 설명이다. 1) 네트워크 분류 크기, 소유권, 구조 등에 의해 분류 WAN, MAN, LAN 으로 분류 이것은 네트워크 규모로 분류하는 것이다. LAN : Loacl Area Network, 가장 작은 규모 MAN : Metropolitan Area Network, 도시 정도 규모 WAN : Wide Area Network, 가장 큰 규모로 지역적으로 넓은 범위에서 데이터 전송하기 위해 구성된다. 여러 네트워크가 연결되는 경우를 인터넷이라고 한다. 우리가 와이파이가 안 된다는 둥 실생활에서 많이 이야기하는 인터넷은 WAN에 속한다고 할 수 있다. 전 세계를 다 연결하고 있기 때문이다. 그.. 2023. 8. 5.

[네트워크] #01. 네트워크의 기초 개강을 앞두고 네트워크 기초에 대해 학습하기 시작했다. 다음학기에 컴퓨터 네트워크 과목을 수강하는데 잘 모르는 분야이기 때문에 네트워크 기초라도 숙지해두기로 했다. 예습용으로 인터넷 강의는 kmooc을 참고하였다. 성균관대 안성진 교수님의 네트워크 기초다. 강의 링크 : http://www.kmooc.kr/courses/course-v1:SKKUk+SKKU_26+2022_T1/video video | K-MOOC 라우팅 프로토콜과 거리벡터 라우팅 시청 www.kmooc.kr || 1강 네트워크 기초 01) 네트워크 구성요소 네트워크를 수강하면서 첫번째로 알아야 하는 것은 "네트워크의 구성요소가 무엇인지", 이에 대해 알아야 한다. 첫번째로 노드, 두번째로 링크가 존재한다. 노드는 네트워크 구성요소들의 집.. 2023. 8. 5.

[C++] 구조체 개념 및 정의 선언 구조체는 자료구조를 공부할때면 잘 쓸 줄 알아야하는 자료형이라고 생각한다. 보통 프로그래밍 언어만 공부할땐 구조체가 뒷부분 진도에 있어서 신경을 많이 못 쓸 수 있는데, 그러면 자료구조 공부할때 굉장히 힘드니까 프로그래밍 언어는 앞부분보다 뒷부분 진도에 더 신경써서 공부하는게 좋을 것 같다. (맞음.. 내 이야기다...) 안 그러면 남들 다 자료구조 공부할때 혼자 프로그래밍 언어 복습을 해야한다. (내 이야기다...222) 구조체에 대해 알아본다. struct 키워드를 사용하여 구조체를 정의하는데, 구조체의 생김새는 다음과 같다. struct 사용할 구조체의 타입 이름 { 멤버 1 멤버 2 } ; //간혹 여기에 구조체 변수 이름을 작성해서 구조체 선언,정의를 한번에 하기도 한다. 이때 멤버는 필드라고도.. 2023. 5. 7.

이전 1 2 3 4 다음

티스토리툴바