본문 바로가기

분류 전체보기39

[논문 초록💚] Attention is All you Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. 지배적인 시퀀스 변환 모델(dominant sequence transduction models)은 encoder 및 decoder를 포함하는 복잡한 순환 신경망 또는 컨볼루션 신경망을 기반으로 한다. 최고의 성능을 자랑하는 모델들은 어텐션 메커니즘(attention mechanis.. 2024. 1. 24.

[boostcourse][자연어 처리의 모든것] 자연어 처리 활용 분야와 트렌드 boostcourse를 통해 KAIST 주재걸 교수님의 "자연어 처리의 모든 것" 강의를 듣게 되었다. 요즘 연구실에서 공부하게 된 분야가 언어모델인데, 언어모델에 들어가기에 앞서서 딥러닝과 자연어 처리 공부를 시작해야해서 무료 강의를 서치하다가 알게 되었다. 첫번째 강의는 "자연어 처리 활용 분야와 트렌드"였는데, 자연어 처리가 무엇인지뿐 아니라 기술이 활용되는 분야와 관련 학회까지 알아보니 앞으로이 학습에 큰 동기부여가 되었다. 특히 텍스트 마이닝 기술에서 computational social science(빅데이터 분석 기반 사회과학)가 나와 정말 잘 맞을 것 같다는 생각이 들어 앞으로의 공부할 분야에 대한 기대가 크다. 강의 피피티는 구할 수 없지만, 요약된 내용이 함께 공유되어 복습할 때 참고해.. 2024. 1. 24.

[pytorch zero to all 강의 내용 정리] 3강 gradient descent 강의 주제 : 3강 Gradient descendent - 경사 하강법 강의 목표 : 경사하강법 알고리즘에 대해 알아보고 손실을 최소화하는 W값을 찾는 과정과 방법을 알아본다. 또한 방정식을 사용하여 가중치를 업데이트하고 기울기를 계산하는 방법에 대해 이야기한다. - 🎯 The goal of training or learning in machine learning is to find the optimal value of W that minimizes the loss function. - 🧭 The gradient descent algorithm provides a systematic way to identify the optimal value of W by iteratively updating the w.. 2024. 1. 14.

[pytorch zero to all 강의 내용 정리] 2강 Linear Model - 선형 모델 캡스톤 주제가 LLM을 이용한 검색 엔진 제작으로 좁혀지면서 파이토치 스터디를 겨울방학동안 시작했습니다. 교수님께서 공유해주신 pytorch zero to all 강의를 수강하면서 정리한 내용을 공유하고자 합니다. 수학적인 내용과 원리에 대해서는 간단히 정리하고 강의의 숲을 보는 주제위주로 정리한 부분이니 저처럼 파이토치에 제로베이스였던 분들께서는 한번 읽고 파이토치 스터디를 시작하시는게 도움이 될 것 같습니다. 13강까지 내용을 전부 올리고 이후 추가적인 스터디를 진행할때마다 시간을 내어 공부 내용을 정리하고자 합니다. 강의 목표 : 파이토치의 선형 모델 개념을 이야기하고 지도 머신러닝에서 선형 모델이 사용되는 방법과 모델학습 및 평가 과정을 설명한다. 또한 손실 계산과 평균제곱오차(MSE)를 사용하여.. 2024. 1. 7.

이전 1 2 3 4 5 ··· 10 다음

티스토리툴바