hyerong's Dev_world🎡

원글 : https://arstechnica.com/ai/2024/11/what-if-ai-doesnt-just-keep-getting-better-forever/  What if AI doesn’t just keep getting better forever?New reports highlight fears of diminishing returns for traditional LLM training.arstechnica.com 인공지능의 발전은 어디까지일까? 본 아티클에서는 AI의 발전이 한계에 부딪히고 있다는 말을 전한다. OpenAI의 차기 모델이 이전 모델에 비해 성능향상이 크지 않다는 내부 보고가 등장하면서 AI 기술이 이미 플래토에 도달했다는 것이다. 1. 서론 📈 AI의 발전 한계 가능성AI..

딥스피드(DeepSpeed)는 마이크로소프트에서 발표한 딥러닝을 위한 라이브러리다. 오피셜 개발 깃허브에서는 한번의 클릭으로 챗지피티와 유사한 모델 교육을 지원해 모든 규모에서 큰 비용 절감으로 SOTA RLHF 시스템보다 15배 빠른 속도를 제공한다고 말한다. gpu 메모리와 연산 자원을 효율적으로 사용하면서 큰 언어모델 훈련과 배포에 용이하다! DeepSpeed는 모델 병렬화, 혼합 정밀도 훈련, ZeRO(Zero Redundancy Optimizer) 기술을 제공하여 메모리 사용량을 줄이고 훈련 속도를 높인다고 한다. 속도를 높이는 방법 하나하나에 대해 좀 더 자세히 알아보자. ZeRO 최적화:모델 파라미터, 옵티마이저 상태, 그래디언트를 분산하여 GPU 메모리 사용을 최소화하고 큰 모델을 훈련할 ..

이번 글에서 설명할 내용은 다음과 같다. 1. 랜덤포레스트 개념 2. 랜덤포레스트 선언 3. RFR 모델 사용 코드 - x,y변수 설정 코드 4. 보너스) 평가 척도 mse 란? - 머신러닝 회귀모델 성능 평가 지표 첫번재로 랜덤 포레스트란 map 머신 러닝 알고리즘이다. 정확성, 단순성 및 유연성으로 가장 많이 사용되는 알고리즘 중 하나이며, 분류 및 회귀 작업에 사용할 수 있다. 여러 개의 의사결정나무(Decision Tree)를 만들어서 이 결정 트리들의 평균으로 예측의 성능을 높이는 방법이고 이러한 기법을 앙상블(Ensemble) 기법이라 한다. (주어진 하나의 데이터로부터 여러 개의 랜덤 데이터 set을 추출해 각 데이터set을 통해 여러 개 만들 수 있어서 많은 양의 표본집답이 생기니 예측 성..

파이썬을 통해 데이터를 전처리하는 과정에서 데이터 결측치(missing data)를 만났을때 해결방법 2가지를 소개한다. 첫번째는 결측치에 대해 데이터의 평균값으로 메꾸는 방법 두번재는 보간법을 사용하는 방법이다. 먼저 결측치의 개념을 다시 짚어보자면 missing data 즉, 잃어버린 데이터, 데이터가 담긴 표에서, 행에 대해 데이터 값을 넣는 열이 비어있다고 생각하면 된다. 예를 들어, 학생들의 학번이라는 행에서 특정 학생의 학번 칸이 비어져 있다고 생각하면 된다. 이름 학번 홍길동 21900123 심청이 (missing data) 로빈훗 21500321 위 표에서는 심청이의 학번에서 데이터 missing이 발생한다. 이런 빈 데이터가 있을가봐 데이터 전처리 과정을 거치는 것이다. 프로그래머는 이런..

파이썬으로 데이터를 읽어올때 주로 colab을 사용하는 편이다. 웹이라 접근성도 편하고 끄고 키기 편하고 가벼운 느낌. 1. read_csv 엑셀이나 다양한 데이터를 가져올때 read_csv를 사용하여 가져온다 먼저 import로 판다랑 인사하면 데이터 받을 객체에 read_csv('파일 이름.확장자')를 대입해주면된다. 2. 데이터 결측치 확인 데이터를 받으면 데이터 결측치를 확인해야한다는 말이 있다. 데이터가 빈게 있는지 없는지 알아보는 것이다. 계란 한판 사기전 30개가 다 있는지 확인하는 느낌이랄까? 영어로 Missing Value라고 한다. 줄여서 NA라고도 하는데 null이라고 생각하면 쉽다. 판다는 NaN이라고 부른다. 메서드도 쉽게 기억할 수 있다. isnull()이다. 문자 그대로 is ..