hyerong's Dev_world🎡

기관토플을 공부하면서 여기저기 흝어져있던 공부 자료들을 모아서 업로드합니다. 꼭 원하는 점수 달성해서 후기도 남길 수 있길 ㅠ 리스닝오피셜 문제집 음원은 ybm 공식 사이트에 있음! 리스닝 연습용 음원 https://www.youtube.com/watch?v=tKDkiHUw2to  문법연습문제 1020제 문제+ 해설    토플 보카

원글 : https://arstechnica.com/ai/2024/11/what-if-ai-doesnt-just-keep-getting-better-forever/  What if AI doesn’t just keep getting better forever?New reports highlight fears of diminishing returns for traditional LLM training.arstechnica.com 인공지능의 발전은 어디까지일까? 본 아티클에서는 AI의 발전이 한계에 부딪히고 있다는 말을 전한다. OpenAI의 차기 모델이 이전 모델에 비해 성능향상이 크지 않다는 내부 보고가 등장하면서 AI 기술이 이미 플래토에 도달했다는 것이다. 1. 서론 📈 AI의 발전 한계 가능성AI..

랜덤 포레스트는 여러 결정 트리를 결합하여 더 정확한 예측을 만들어내는 앙상블 학습 기법이다.   1. 랜덤 포레스트의 용도와 중요성  의사결정 트리는 머신러닝의 시작점으로 적합하지만, 새로운 데이터에 대한 예측에서 일관성이 떨어지는 문제가 있다. 랜덤 포레스트는 여러 개의 결정 트리를 결합하여 이러한 문제를 해결하며, 예측의 정확성을 향상시킨다.이 방법은 효과적이고 실용적이기 때문에 많은 데이터 과학자들에게 인기가 높다. 따라서 랜덤 포레스트는 머신러닝에서 신뢰할 수 있는 도구로 자리잡고 있다. 2. 랜덤 포레스트의 정의와 작동 원리  랜덤 포레스트는 여러 개의 결정 트리를 결합하여 만든 앙상블 기계 학습(머신러닝) 모델이다. 각 트리는 데이터의 랜덤 샘플(부트스트랩 샘플링)에 대해 훈련되며, 분할 시..

딥스피드(DeepSpeed)는 마이크로소프트에서 발표한 딥러닝을 위한 라이브러리다. 오피셜 개발 깃허브에서는 한번의 클릭으로 챗지피티와 유사한 모델 교육을 지원해 모든 규모에서 큰 비용 절감으로 SOTA RLHF 시스템보다 15배 빠른 속도를 제공한다고 말한다. gpu 메모리와 연산 자원을 효율적으로 사용하면서 큰 언어모델 훈련과 배포에 용이하다! DeepSpeed는 모델 병렬화, 혼합 정밀도 훈련, ZeRO(Zero Redundancy Optimizer) 기술을 제공하여 메모리 사용량을 줄이고 훈련 속도를 높인다고 한다. 속도를 높이는 방법 하나하나에 대해 좀 더 자세히 알아보자. ZeRO 최적화:모델 파라미터, 옵티마이저 상태, 그래디언트를 분산하여 GPU 메모리 사용을 최소화하고 큰 모델을 훈련할 ..

num_arr = []num = int(input("숫자 입력 (종료:999)"))num_arr.append(num)while num != 999: #while True: 로 진행하면 위에 입력받는 코드 안 써줘도 됨 num = int(input("숫자 입력 (종료:999)")) num_arr.append(num) num_arr.sort() print("중간 정렬 결과", num_arr) print("최종 정렬 결과", num_arr)문제 3. 사용자로부터 n개의 숫자를 입력을 받은 후(입력 종료는 999) 리스트에 저장하고, 이 숫자들을 오름차순으로 정렬하는 함수를 작성하시오.  문제 4. 위 코드에서 계산 추가내림차순 정렬된 리스트, 아이템 개수, 합계, 평균(소수 이하 ..

1장을 읽으며 특별히 기억해야겠다는 내용 중 일부만 정리해보았다. 1장에서는 임베딩의 개념과 종류, 역사에 대해 살펴보았다. 기계의 자연어 이해와 생성은 연산이나 처리의 영역이다. 자연어 처리 분야에서 임베딩이란 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 의미한다. 단어나 문장 각각을 벡터로 변환해 벡터 공간으로 끼워 넣는다 라는 의미에서 임베딩이라는 이름이 붙었다. 임베딩은 다음과 같은 역할을 수행한다고 생각할 수 있다. 1, 단어/문장 간의 관련도 계산 2. 의미적/문법적 정보 함축 3. 전이 학습 임베딩은 벡터인 만큼 사칙연산이 가능하다. 단어 벡터 간 덧셈/뺄셈을 통해 단어들 사이의 의미적, 문법적 관계를 도출해낼 수 있다. 딥러닝 모..

각 챕터별 내용 한눈에 살펴보기 1장 서론 - 임베딩의 정의, 역사와 종류등을 살피며 도커와 같은 개발환경을 구성하는 과정 설명 2장 벡터가 어떻게 의미를 가지게 되는가 - 자연어의 의미를 임베딩에 어떻게 함축시킬수있는지, - 각 임베딩 기법들은 크고 작은 차이가 있지만 말뭉치;corpus의 통계적 패턴 정보;statistical pattern를 반영한다는 점에서 공통적이다. 3장 한국어 전처리 - 임베딩 학습을 위한 한국어 데이터의 전처리 과정 - 웹 문서/json 파일 같은 형태의 데이터를 순수 텍스트 파일로 바꾸며 여기에 형태소 분석+띄어쓰기 교정을 실시하는 방법 설명 4장 단어 수준 임베딩 - 다양한 단어 수준 임베딩 모델을 설명 - NPLM, Word2Vec, FastText 등은 예측기반 모델..

챕터 1의 2강 : 기존 자연어 처리 기법 소개 핵심 단어 : BOW, 원핫 벡터, 나이브 베이즈 분류기, 문장 분류 Bag-Of-Words (단어 가방 모형) 단어 순서 고려 X, 각 단어들의 출현 빈도(frequency)에만 집중하는 문자형 데이터의 수치화 표현 방법 단어를 벡터로 표현하기 위해서는 주어진 문장에 쓰인 단어들을 사전(Vocabulary(key-value) 형태로 저장(중복 허용 X) 저장된 단어들은 각각 유니크한 카테고리 변수(Categorical variable)이므로, 원-핫 인코딩(One-hot Encoding)를 이용해 벡터로 표현할 수 있고 -> 결국 주어진 문장을 원-핫 벡터의 합, 즉 숫자로 표현(numerical하게) 가능 문장을 구성하고 있는 단어들을 가방에 순차적으로..

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. 지배적인 시퀀스 변환 모델(dominant sequence transduction models)은 encoder 및 decoder를 포함하는 복잡한 순환 신경망 또는 컨볼루션 신경망을 기반으로 한다. 최고의 성능을 자랑하는 모델들은 어텐션 메커니즘(attention mechanis..

boostcourse를 통해 KAIST 주재걸 교수님의 "자연어 처리의 모든 것" 강의를 듣게 되었다. 요즘 연구실에서 공부하게 된 분야가 언어모델인데, 언어모델에 들어가기에 앞서서 딥러닝과 자연어 처리 공부를 시작해야해서 무료 강의를 서치하다가 알게 되었다. 첫번째 강의는 "자연어 처리 활용 분야와 트렌드"였는데, 자연어 처리가 무엇인지뿐 아니라 기술이 활용되는 분야와 관련 학회까지 알아보니 앞으로이 학습에 큰 동기부여가 되었다. 특히 텍스트 마이닝 기술에서 computational social science(빅데이터 분석 기반 사회과학)가 나와 정말 잘 맞을 것 같다는 생각이 들어 앞으로의 공부할 분야에 대한 기대가 크다. 강의 피피티는 구할 수 없지만, 요약된 내용이 함께 공유되어 복습할 때 참고해..

강의 주제 : 3강 Gradient descendent - 경사 하강법 강의 목표 : 경사하강법 알고리즘에 대해 알아보고 손실을 최소화하는 W값을 찾는 과정과 방법을 알아본다. 또한 방정식을 사용하여 가중치를 업데이트하고 기울기를 계산하는 방법에 대해 이야기한다. - 🎯 The goal of training or learning in machine learning is to find the optimal value of W that minimizes the loss function. - 🧭 The gradient descent algorithm provides a systematic way to identify the optimal value of W by iteratively updating the w..

캡스톤 주제가 LLM을 이용한 검색 엔진 제작으로 좁혀지면서 파이토치 스터디를 겨울방학동안 시작했습니다. 교수님께서 공유해주신 pytorch zero to all 강의를 수강하면서 정리한 내용을 공유하고자 합니다. 수학적인 내용과 원리에 대해서는 간단히 정리하고 강의의 숲을 보는 주제위주로 정리한 부분이니 저처럼 파이토치에 제로베이스였던 분들께서는 한번 읽고 파이토치 스터디를 시작하시는게 도움이 될 것 같습니다. 13강까지 내용을 전부 올리고 이후 추가적인 스터디를 진행할때마다 시간을 내어 공부 내용을 정리하고자 합니다. 강의 목표 : 파이토치의 선형 모델 개념을 이야기하고 지도 머신러닝에서 선형 모델이 사용되는 방법과 모델학습 및 평가 과정을 설명한다. 또한 손실 계산과 평균제곱오차(MSE)를 사용하여..

문제 Infix expression을 Postfix expression으로 변환하는 프로그램을 작성하시오. 문제 포인트 1) stack class를 구현할 수 있는가 2) stack의 기본 성질(push, pop, top_element 등)을 알고 구현할 수 있는가 3) bool 타입 + 조건문이 들어간 함수를 구현할 수 있는가 4) infix 와 postfix를 이해하는가 5) main함수 외 다른 함수를 구현하고 이를 호출하여 사용할 수 있는가 6) 사용자 지정 우선순위를 만들어 이를 반영하는 함수 조건문을 구현할 수 있는가 #include #include #define SIZE 100 #define EOS '$' using namespace std; class op_stack { char s[SIZ..

문제 정수 원소를 저장하는 stack을 class를 사용하여 구현하고, 이를 이용하여, 주어진 array의 정수 원소 n개 에서 100보다 큰 값을 역순으로 출력하는 프로그램을 작성하시오. (다음 main() 함수가 동작하도록 나머지 부분을 작성) int main() { mystack s1; int list[5] = { 32, 123, 27, 131, 242 }, i, x; s1.init(); for (i = 0; i 100) s1.push( list[i] ); while ( ! s1.stack_empty( ) ) { x = s1.pop( ); cout

지난 시간-네트워크 기초에서 못 다한 이야기로 네트워크 분류가 있다. 말 그대로, 네트워크를 어떻게 분류하는지에 대한 설명이다. 1) 네트워크 분류 크기, 소유권, 구조 등에 의해 분류 WAN, MAN, LAN 으로 분류 이것은 네트워크 규모로 분류하는 것이다. LAN : Loacl Area Network, 가장 작은 규모 MAN : Metropolitan Area Network, 도시 정도 규모 WAN : Wide Area Network, 가장 큰 규모로 지역적으로 넓은 범위에서 데이터 전송하기 위해 구성된다. 여러 네트워크가 연결되는 경우를 인터넷이라고 한다. 우리가 와이파이가 안 된다는 둥 실생활에서 많이 이야기하는 인터넷은 WAN에 속한다고 할 수 있다. 전 세계를 다 연결하고 있기 때문이다. 그..