| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- C++
- SQLD 벼락치기
- 챗지피티와 업무자동화
- 비전공자 빅분기 합격
- tail()
- 논문초록
- AI
- 스택에 배열 푸시하기
- pytorch zero to all
- 자연어 처리 기법
- 자연어 처리의 모든것
- llm
- sqld
- interpolate()
- inplace=True
- Naive Bayes Classifier for Document Classification
- Til
- colab
- 아이리포
- Bag-of-Words
- BoostCourse
- DeepSpeed
- sklearn.ensemble
- 파인튜닝 메모리 해결
- Python
- 데이터 시각화
- 데이터 결측치
- head()
- Collection if
- list
Archives
- Today
- Total
목록파인튜닝 메모리 해결 (1)
hyerong's Dev_world🎡
MS - DeepSpeed란 무엇인가
딥스피드(DeepSpeed)는 마이크로소프트에서 발표한 딥러닝을 위한 라이브러리다. 오피셜 개발 깃허브에서는 한번의 클릭으로 챗지피티와 유사한 모델 교육을 지원해 모든 규모에서 큰 비용 절감으로 SOTA RLHF 시스템보다 15배 빠른 속도를 제공한다고 말한다. gpu 메모리와 연산 자원을 효율적으로 사용하면서 큰 언어모델 훈련과 배포에 용이하다! DeepSpeed는 모델 병렬화, 혼합 정밀도 훈련, ZeRO(Zero Redundancy Optimizer) 기술을 제공하여 메모리 사용량을 줄이고 훈련 속도를 높인다고 한다. 속도를 높이는 방법 하나하나에 대해 좀 더 자세히 알아보자. ZeRO 최적화:모델 파라미터, 옵티마이저 상태, 그래디언트를 분산하여 GPU 메모리 사용을 최소화하고 큰 모델을 훈련할 ..
AI
2024. 11. 11. 01:09