hyerong's Dev_world🎡

기관토플을 공부하면서 여기저기 흝어져있던 공부 자료들을 모아서 업로드합니다. 꼭 원하는 점수 달성해서 후기도 남길 수 있길 ㅠ 리스닝오피셜 문제집 음원은 ybm 공식 사이트에 있음! 리스닝 연습용 음원 https://www.youtube.com/watch?v=tKDkiHUw2to  문법연습문제 1020제 문제+ 해설    토플 보카

원글 : https://arstechnica.com/ai/2024/11/what-if-ai-doesnt-just-keep-getting-better-forever/  What if AI doesn’t just keep getting better forever?New reports highlight fears of diminishing returns for traditional LLM training.arstechnica.com 인공지능의 발전은 어디까지일까? 본 아티클에서는 AI의 발전이 한계에 부딪히고 있다는 말을 전한다. OpenAI의 차기 모델이 이전 모델에 비해 성능향상이 크지 않다는 내부 보고가 등장하면서 AI 기술이 이미 플래토에 도달했다는 것이다. 1. 서론 📈 AI의 발전 한계 가능성AI..

랜덤 포레스트는 여러 결정 트리를 결합하여 더 정확한 예측을 만들어내는 앙상블 학습 기법이다.   1. 랜덤 포레스트의 용도와 중요성  의사결정 트리는 머신러닝의 시작점으로 적합하지만, 새로운 데이터에 대한 예측에서 일관성이 떨어지는 문제가 있다. 랜덤 포레스트는 여러 개의 결정 트리를 결합하여 이러한 문제를 해결하며, 예측의 정확성을 향상시킨다.이 방법은 효과적이고 실용적이기 때문에 많은 데이터 과학자들에게 인기가 높다. 따라서 랜덤 포레스트는 머신러닝에서 신뢰할 수 있는 도구로 자리잡고 있다. 2. 랜덤 포레스트의 정의와 작동 원리  랜덤 포레스트는 여러 개의 결정 트리를 결합하여 만든 앙상블 기계 학습(머신러닝) 모델이다. 각 트리는 데이터의 랜덤 샘플(부트스트랩 샘플링)에 대해 훈련되며, 분할 시..

딥스피드(DeepSpeed)는 마이크로소프트에서 발표한 딥러닝을 위한 라이브러리다. 오피셜 개발 깃허브에서는 한번의 클릭으로 챗지피티와 유사한 모델 교육을 지원해 모든 규모에서 큰 비용 절감으로 SOTA RLHF 시스템보다 15배 빠른 속도를 제공한다고 말한다. gpu 메모리와 연산 자원을 효율적으로 사용하면서 큰 언어모델 훈련과 배포에 용이하다! DeepSpeed는 모델 병렬화, 혼합 정밀도 훈련, ZeRO(Zero Redundancy Optimizer) 기술을 제공하여 메모리 사용량을 줄이고 훈련 속도를 높인다고 한다. 속도를 높이는 방법 하나하나에 대해 좀 더 자세히 알아보자. ZeRO 최적화:모델 파라미터, 옵티마이저 상태, 그래디언트를 분산하여 GPU 메모리 사용을 최소화하고 큰 모델을 훈련할 ..

num_arr = []num = int(input("숫자 입력 (종료:999)"))num_arr.append(num)while num != 999: #while True: 로 진행하면 위에 입력받는 코드 안 써줘도 됨 num = int(input("숫자 입력 (종료:999)")) num_arr.append(num) num_arr.sort() print("중간 정렬 결과", num_arr) print("최종 정렬 결과", num_arr)문제 3. 사용자로부터 n개의 숫자를 입력을 받은 후(입력 종료는 999) 리스트에 저장하고, 이 숫자들을 오름차순으로 정렬하는 함수를 작성하시오.  문제 4. 위 코드에서 계산 추가내림차순 정렬된 리스트, 아이템 개수, 합계, 평균(소수 이하 ..

1장을 읽으며 특별히 기억해야겠다는 내용 중 일부만 정리해보았다. 1장에서는 임베딩의 개념과 종류, 역사에 대해 살펴보았다. 기계의 자연어 이해와 생성은 연산이나 처리의 영역이다. 자연어 처리 분야에서 임베딩이란 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 의미한다. 단어나 문장 각각을 벡터로 변환해 벡터 공간으로 끼워 넣는다 라는 의미에서 임베딩이라는 이름이 붙었다. 임베딩은 다음과 같은 역할을 수행한다고 생각할 수 있다. 1, 단어/문장 간의 관련도 계산 2. 의미적/문법적 정보 함축 3. 전이 학습 임베딩은 벡터인 만큼 사칙연산이 가능하다. 단어 벡터 간 덧셈/뺄셈을 통해 단어들 사이의 의미적, 문법적 관계를 도출해낼 수 있다. 딥러닝 모..