ใน ep นี้เราจะมา Refactor Model สร้าง Module, Parameter และ Optimizer เป็น Abstraction ในจัดการการอัพเดท Parameter ของโมเดล ด้วยอัลกอริทึมต่าง ๆ เพื่อลดความซับซ้อน ของ Training Loop ทำให้การเทรน Neural Network ยืดหยุ่นขึ้น

เราจะใช้โค้ดจาก Neural Network ep 5 เป็นโค้ดเริ่มต้น นำมา Refactor ต่อ

Parameter คือ คำเรียกรวม ๆ ของ Weight และ Bias ทุก Layer ที่อยู่ในโมเดล ที่จะมีการอัพเดทในทุกรอบการเทรน Hyperparameter คืออะไร คลิก

การสร้าง Optimizer ทำให้เราสามารถ Plug อัลกอริทึมในการอัพเดท Parameter แบบต่าง ๆ ได้ด้วยโค้ดเพียงบรรทัดเดียว

Comparing SGD, ADAM, ADABOUND and AMSBOUND On Training and test accuracy for DenseNet-121 and ResNet-34 on CIFAR-10. Credit https://openreview.net/forum?id=Bkg3g2R9FX
Comparing SGD, ADAM, ADABOUND and AMSBOUND On Training and test accuracy for DenseNet-121 and ResNet-34 on CIFAR-10. Credit https://openreview.net/forum?id=Bkg3g2R9FX

เรามาเริ่มกันเลยดีกว่า

Open In Colab

แชร์ให้เพื่อน:

Share

บทความที่เกี่ยวข้อง:

  1. Gradient Descent คืออะไร อะไรคือ การเคลื่อนลงตามความชัน, Stochastic Gradient Descent (SGD) คืออะไร – Optimization ep.1
  2. ตัวอย่าง Linear Regression ด้วย Stochastic Gradient Descent (SGD) พื้นฐานของ Neural Network – Optimization ep.2
  3. Refactor โค้ด Neural Network สร้าง DataBunch และ Learner ปรับปรุง Training Loop – Neural Network ep.9
  4. สร้าง Training Loop แบบง่าย เริ่มต้นเทรน Neural Network ด้วย Mini-Batch SGD – Neural Network ep.4
Surapong Kanoktipsatharporn on FacebookSurapong Kanoktipsatharporn on LinkedinSurapong Kanoktipsatharporn on Rss
Surapong Kanoktipsatharporn
Solutions Architect at Bua Labs
The ultimate test of your knowledge is your capacity to convey it to another.

Published by Surapong Kanoktipsatharporn

The ultimate test of your knowledge is your capacity to convey it to another.