[boostcourse][자연어 처리의 모든것] 자연어 처리 활용 분야와 트렌드

 

boostcourse를 통해 KAIST 주재걸 교수님의 "자연어 처리의 모든 것" 강의를 듣게 되었다. 

요즘 연구실에서 공부하게 된 분야가 언어모델인데, 언어모델에 들어가기에 앞서서 딥러닝과 자연어 처리 공부를 시작해야해서 무료 강의를 서치하다가 알게 되었다. 

 

첫번째 강의는 "자연어 처리 활용 분야와 트렌드"였는데, 자연어 처리가 무엇인지뿐 아니라 기술이 활용되는 분야와 관련 학회까지 알아보니 앞으로이 학습에 큰 동기부여가 되었다. 특히 텍스트 마이닝 기술에서 computational social science(빅데이터 분석 기반 사회과학)가 나와 정말 잘 맞을 것 같다는 생각이 들어 앞으로의 공부할 분야에 대한 기대가 크다. 

 

강의 피피티는 구할 수 없지만, 요약된 내용이 함께 공유되어 복습할 때 참고해야겠다. 

---

자연어 처리 분야별 학회 목록

1. Natural language processing (자연어 처리)

• 주요 학회 : ACL, EMNLP, NAACL
• 학문 분야
  • Low-level parsing : Tokenization, stemming
  • Word and phrase level : NER(Named Entity Recognation), POS(Part-Of-Speech) tagging
  • Sentence level : 감성 분류(Sentiment Analysis), 기계 번역(Machine Translation)
  • Multi-sentence and paragraph level : 논리적 내포 및 모순관계 예측(Entailment Prediction),
    독해기반 질의응답(question answering), 챗봇(dialog systems), 요약(summarization)

 

2. Text mining (텍스트 마이닝)

• 주요 학회 : KDD, The WebConf(前 WWW), WSDM, CIKM, ICWSM
• 학문 분야
  • Extract useful information and insights from text and document data
  • 문서 군집화(Document clustering)      ex) 토픽 모델링
  • Highly related to computational social science : 통계적으로 사회과학적 인사이트 산출

 

3. Information retrieval (정보 검색)

• 주요 학회 : SIGIR, WSDM, CIKM, Recsys
• 학문 분야
  • Highly related to computational social science
  • 정보 검색 분야, 추천 시스템
    

 

자연어 처리 분야의 트렌드

• 자연어 처리 분야 : CV 혹은 영상처리 분야와 더불어 AI와 DL기술이 가장 활발히 적용되며 꾸준비 발전하는 분야 중 하나임.
  기존 ML과 DL 기술로 자연어 처리 문제를 해결하기 위해서는 주어진 텍스트 데이터를 숫자로 변환하는
  '워드 임베딩(Word Embedding)' 과정을 거치게 된다. 
  
  
• 텍스트 데이터는 문장을 구성하는 순서 정보가 중요하기 때문에 이를 받아들일 수 있는 특화 모델에 대한 연구가 필요했고,
  그 대표적인 예로는 'RNN(Recurrent Neural Network)'이 있다. 
  이후 단점을 보완한 LSTM, GRU 모델이 나와 사용됨. 
  
  
• 2017년에는 구글에서 발표한 'Attention is all YOU need' (첨부파일) 라는 제목의 논문이 나오면서 '셀프 어텐션(Self-Attention)' 구조를 가진 '트랜스포머(Transformer) 모델'이 각광받기 시작했다.
  최근 발표된 대부분의 모델들은 트랜스포머 모델을 기반으로 하는 것이 많으며, 트랜스포머 모델은 주로 사용되던 '기계 번역' 분야를 넘어 현재는 영상/신약개발/시계열 예측 등에서도 다양하게 사용되고 있음. 
  
• 최근 유행 모델로는 자가지도 학습(self-supervised Learning)이 가능한 BERT, GPT 등이 있다. 

---

Attention is all you need 초록 보러가기