| ์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- pytorch zero to all
- inplace=True
- C++
- ์์ฐ์ด ์ฒ๋ฆฌ ๊ธฐ๋ฒ
- Python
- Collection if
- ์คํ์ ๋ฐฐ์ด ํธ์ํ๊ธฐ
- ๋ ผ๋ฌธ์ด๋ก
- tail()
- sklearn.ensemble
- SQLD ๋ฒผ๋ฝ์น๊ธฐ
- ๋ฐ์ดํฐ ๊ฒฐ์ธก์น
- Bag-of-Words
- ์์ด๋ฆฌํฌ
- ๋ฐ์ดํฐ ์๊ฐํ
- interpolate()
- ํ์ธํ๋ ๋ฉ๋ชจ๋ฆฌ ํด๊ฒฐ
- ์ฑ์งํผํฐ์ ์ ๋ฌด์๋ํ
- Naive Bayes Classifier for Document Classification
- colab
- ๋น์ ๊ณต์ ๋น ๋ถ๊ธฐ ํฉ๊ฒฉ
- ์์ฐ์ด ์ฒ๋ฆฌ์ ๋ชจ๋ ๊ฒ
- AI
- sqld
- llm
- list
- BoostCourse
- head()
- DeepSpeed
- Til
- Today
- Total
๋ชฉ๋กํ์ธํ๋ ๋ฉ๋ชจ๋ฆฌ ํด๊ฒฐ (1)
hyerong's Dev_world๐ก
MS - DeepSpeed๋ ๋ฌด์์ธ๊ฐ
๋ฅ์คํผ๋(DeepSpeed)๋ ๋ง์ดํฌ๋ก์ํํธ์์ ๋ฐํํ ๋ฅ๋ฌ๋์ ์ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ค. ์คํผ์ ๊ฐ๋ฐ ๊นํ๋ธ์์๋ ํ๋ฒ์ ํด๋ฆญ์ผ๋ก ์ฑ์งํผํฐ์ ์ ์ฌํ ๋ชจ๋ธ ๊ต์ก์ ์ง์ํด ๋ชจ๋ ๊ท๋ชจ์์ ํฐ ๋น์ฉ ์ ๊ฐ์ผ๋ก SOTA RLHF ์์คํ ๋ณด๋ค 15๋ฐฐ ๋น ๋ฅธ ์๋๋ฅผ ์ ๊ณตํ๋ค๊ณ ๋งํ๋ค. gpu ๋ฉ๋ชจ๋ฆฌ์ ์ฐ์ฐ ์์์ ํจ์จ์ ์ผ๋ก ์ฌ์ฉํ๋ฉด์ ํฐ ์ธ์ด๋ชจ๋ธ ํ๋ จ๊ณผ ๋ฐฐํฌ์ ์ฉ์ดํ๋ค! DeepSpeed๋ ๋ชจ๋ธ ๋ณ๋ ฌํ, ํผํฉ ์ ๋ฐ๋ ํ๋ จ, ZeRO(Zero Redundancy Optimizer) ๊ธฐ์ ์ ์ ๊ณตํ์ฌ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์ค์ด๊ณ ํ๋ จ ์๋๋ฅผ ๋์ธ๋ค๊ณ ํ๋ค. ์๋๋ฅผ ๋์ด๋ ๋ฐฉ๋ฒ ํ๋ํ๋์ ๋ํด ์ข ๋ ์์ธํ ์์๋ณด์. ZeRO ์ต์ ํ:๋ชจ๋ธ ํ๋ผ๋ฏธํฐ, ์ตํฐ๋ง์ด์ ์ํ, ๊ทธ๋๋์ธํธ๋ฅผ ๋ถ์ฐํ์ฌ GPU ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ์ ์ต์ํํ๊ณ ํฐ ๋ชจ๋ธ์ ํ๋ จํ ..