| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Collection if
- 자연어 처리의 모든것
- colab
- llm
- Bag-of-Words
- 자연어 처리 기법
- Til
- AI
- sqld
- Python
- Naive Bayes Classifier for Document Classification
- inplace=True
- C++
- 챗지피티와 업무자동화
- 데이터 시각화
- 데이터 결측치
- DeepSpeed
- 아이리포
- sklearn.ensemble
- 파인튜닝 메모리 해결
- SQLD 벼락치기
- 스택에 배열 푸시하기
- pytorch zero to all
- head()
- 논문초록
- tail()
- 비전공자 빅분기 합격
- interpolate()
- list
- BoostCourse
Archives
- Today
- Total
목록DeepSpeed (1)
hyerong's Dev_world🎡
MS - DeepSpeed란 무엇인가
딥스피드(DeepSpeed)는 마이크로소프트에서 발표한 딥러닝을 위한 라이브러리다. 오피셜 개발 깃허브에서는 한번의 클릭으로 챗지피티와 유사한 모델 교육을 지원해 모든 규모에서 큰 비용 절감으로 SOTA RLHF 시스템보다 15배 빠른 속도를 제공한다고 말한다. gpu 메모리와 연산 자원을 효율적으로 사용하면서 큰 언어모델 훈련과 배포에 용이하다! DeepSpeed는 모델 병렬화, 혼합 정밀도 훈련, ZeRO(Zero Redundancy Optimizer) 기술을 제공하여 메모리 사용량을 줄이고 훈련 속도를 높인다고 한다. 속도를 높이는 방법 하나하나에 대해 좀 더 자세히 알아보자. ZeRO 최적화:모델 파라미터, 옵티마이저 상태, 그래디언트를 분산하여 GPU 메모리 사용을 최소화하고 큰 모델을 훈련할 ..
AI
2024. 11. 11. 01:09