[pytorch zero to all 강의 내용 정리] 3강 gradient descent

 

강의 주제 : 3강 Gradient descendent - 경사 하강법
강의 목표 : 경사하강법 알고리즘에 대해 알아보고 손실을 최소화하는 W값을 찾는 과정과 방법을 알아본다. 또한 방정식을 사용하여 가중치를 업데이트하고 기울기를 계산하는 방법에 대해 이야기한다.
- 🎯 The goal of training or learning in machine learning is to find the optimal value of W that minimizes the loss function. - 🧭 The gradient descent algorithm provides a systematic way to identify the optimal value of W by iteratively updating the weights based on the gradient of the loss function. - 💡 The algorithm uses the learning rate (alpha) to control the step size of weight updates, and the gradient provides the direction of movement in the loss graph. - 🧮 The loss function and gradient can be expressed mathematically, allowing for easy computation and implementation. - 💻 Implementation steps involve defining the data, initializing weights, defining the forward network, computing the loss and gradient, and updating the weights in each iteration (epoch). - 📊 The algorithm's effectiveness can be observed through the reduction in loss and convergence of the weight value towards the optimal value (true W). - ✅ Testing the trained system by providing input values and comparing the predicted output to the true values helps validate the effectiveness of the algorithm.	- 🎯 기계학습에서 훈련 또는 학습의 목표는 손실 함수를 최소화하는 최적의 W값을 찾는 것이다.  - 🧭 경사 하강법 알고리즘은 손실 함수의 경사를 기반으로 가중치를 반복적으로 수정하여 최적의 W값을 식별할 수 있는 체계적인 방법을 제공한다.  - 💡 알고리즘은 학습률(알파)를 사용하여 가중치 업데이트의 단계 크기를 제어하고 기울기는 손실 그래프에서 이동 방향을 제공한다.  - 🧮 손실 함수와 기울기를 수학적으로 표현할 수 있어 계산과 구현이 용이하다.   - 💻 구현 단계에는 데이터 정의, 가중치 초기화, 순방향 네트워크 정의, 손실 및 기울기 계산, 각 반복(epoch)의 가중치 업데이트가 포함된다.  - 📊 알고리즘의 효율성은 손실 감소와 가중치 값이 최적의 값(true W)으로 수렴되는 것을 통해 관찰할 수 있다.  - ✅ 입력 값을 제공하고 예측된 출력을 실제 값과 비교하여 훈련된 시스템을 테스트하면 알고리즘의 효율성을 검증하는데 도움이 된다.