MS - DeepSpeed란 무엇인가

딥스피드(DeepSpeed)는 마이크로소프트에서 발표한 딥러닝을 위한 라이브러리다. 

오피셜 개발 깃허브에서는 한번의 클릭으로 챗지피티와 유사한 모델 교육을 지원해 모든 규모에서 큰 비용 절감으로 SOTA RLHF 시스템보다 15배 빠른 속도를 제공한다고 말한다. 

gpu 메모리와 연산 자원을 효율적으로 사용하면서 큰 언어모델 훈련과 배포에 용이하다! 

DeepSpeed는 모델 병렬화, 혼합 정밀도 훈련, ZeRO(Zero Redundancy Optimizer) 기술을 제공하여 메모리 사용량을 줄이고 훈련 속도를 높인다고 한다. 

속도를 높이는 방법 하나하나에 대해 좀 더 자세히 알아보자.

 

• ZeRO 최적화:
  • 모델 파라미터, 옵티마이저 상태, 그래디언트를 분산하여 GPU 메모리 사용을 최소화하고 큰 모델을 훈련할 수 있도록 돕습니다. ZeRO는 Stage 1, Stage 2, Stage 3로 나뉘며, 각 단계는 점차적으로 더 많은 메모리 최적화를 제공합니다.
• 모델 병렬화:
  • 모델을 여러 GPU에 분산하여 훈련하며, 파이프라인 병렬화 및 텐서 병렬화를 지원하여 훈련 효율성을 높입니다.
• 혼합 정밀도 훈련 (Mixed Precision Training):
  • fp16 또는 bf16과 같은 낮은 정밀도의 부동 소수점 연산을 사용하여 훈련 속도를 높이고 메모리 사용량을 줄입니다.
• 심화된 데이터 병렬화:
  • 큰 배치 크기를 여러 GPU에 분산하여 데이터 병렬 훈련을 지원하며, 훈련 시간을 단축합니다.
• Offload 기술:
  • CPU 또는 NVMe에 데이터를 부분적으로 오프로드하여 GPU 메모리를 효율적으로 관리합니다.

 

MS DeepSpeed

 

 

- 딥스크린 라이브러리 설치 방법

pip install deepspeed

 

- 기본 사용 예기 

PyTorch와 함께 DeepSpeed를 사용하려면 deepspeed.initialize 함수를 통해 설정 파일을 로드하고 모델을 초기화해야 합니다.

1. DeepSpeed 설정 파일 생성:

ds_config.json 파일을 생성하여 ZeRO, 혼합 정밀도 등의 설정을 지정합니다.

{
  "train_batch_size": 8, 
  
  #혼합 정밀도
  "fp16": {
    "enabled": true
  },
  
  #zero 
  "zero_optimization": {
    "stage": 2
  }
}

 

2. 모델 초기화 코드:

PyTorch 모델을 DeepSpeed로 초기화하려면 다음과 같이 설정 파일을 로드하고 deepspeed.initialize 함수를 사용합니다.

import deepspeed
import torch
import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.layer = nn.Linear(768, 10)

    def forward(self, x):
        return self.layer(x)

# 설정 파일 경로
ds_config = "ds_config.json"

# 모델 및 DeepSpeed 초기화
model = MyModel()
model_engine, optimizer, _, _ = deepspeed.initialize(config=ds_config, model=model, model_parameters=model.parameters())

# 훈련 루프
for batch in data_loader:
    outputs = model_engine(batch)
    loss = loss_fn(outputs, labels)
    model_engine.backward(loss)
    model_engine.step()

 

 

---

 

📌 딥스크린에 더 알아보기에 좋은 유튜브 강의 🔍

https://www.youtube.com/watch?v=g_O3O4ExaUY 

 

 

LLM 파인튜닝을 하면서 큰 걸림돌이 메모리 이슈였는데 (cuda memory out) 다음 파인튜닝시에 딥스크린을 적용해서 훈련시켜봐야겠다.