PyTorch เวอร์ชัน 1.4.0 ออกแล้ว ใน Release นี้จะเป็นการเน้นพัฒนาในส่วน JIT, ONNX, Distributed, Performance และ Eager Frontend เป็นหลัก ในส่วน Experimental มีการพัฒนาปรับปรุงในหลายเรื่อง Mobile และ Quantization รวมถึง Experimental Feature ใหม่ เช่น RPC-Based Model Parallel Distributed Training และ Language Bindings สำหรับภาษา Java (Inference เท่านั้น)
Tag Archives: training
วิธีทำให้ Jupyter Notebook เล่นเสียงอัตโนมัติ เมื่อทำงานเสร็จ – Jupyter Notebook ep.7
ในการเทรนโมเดล Deep Neural Network ใน Jupyter Notebook แต่ละรอบมักใช้เวลาค่อนข้างนาน เราอาจจะต้องการให้มีเล่นเสียงเตือนขึ้นมา เช่น หลังจากที่เทรน Machine Learning รัน Training Loop 3 Cell นั้นเสร็จ เพื่อที่ได้ไม่ต้องมาคอยเช็คหน้าจอเป็นระยะ ดูว่าโปรแกรมทำงานเสร็จแล้วหรือยัง ต้องทำอย่างไร
lr_find หา Learning Rate ที่ดีที่สุดในการเทรน Machine Learning โมเดล Deep Neural Network ด้วย Callback – Neural Network ep.12
จาก ep ก่อน เราได้รู้จัก Hyperparameter ที่สำคัญที่สุดในการเทรน Machine Learning ชื่อ Learning Rate แต่ปัญหาคือ ถ้าเรากำหนดค่า Learning น้อยไปก็ทำให้เทรนได้ช้า แต่ถ้ามากเกินไปก็ทำให้ไม่ Converge หรืออาจจะ Error ไปเลย แล้วเราจะมีวิธีใด ที่จะหาค่า Learning Rate ที่ดีที่สุด มาใช้เทรน Deep Neural Network ของเรา
Refactor โค้ด Neural Network สร้าง DataBunch และ Learner ปรับปรุง Training Loop – Neural Network ep.9
ใน ep ที่แล้วเราได้ Neural Network และ Training Loop ที่ทำงานได้ดีพอสมควร มีการวัดผล Metrics กับข้อมูลใน Validation Set เพื่อให้แน่ใจว่าโมเดลทำงานได้ถูกต้องกับข้อมูลที่ไม่เคยเห็นมาก่อน แต่โค้ด Training Loop ของเรายังมีความซับซ้อนเกินไป ใช้ Parameter จากภายนอกถึง 6 ตัว ซึ่งมากเกินไป ทำให้ยากต่อการต่อยอดเทรนในอัลกอริทึมที่ซับซ้อนยิ่งขึ้น แล้วเราจะแก้ไขอย่างไร
Learning Rate คืออะไร ปรับยังไงให้พอดี Epoch คืออะไร สำคัญอย่างไร กับการเทรน Machine Learning – Hyperparameter Tuning ep.1
ใน ep นี้เราจะมาเรียนรู้กันว่า Learning Rate คืออะไร Learning Rate สำคัญอย่างไรกับการเทรน Machine Learning โมเดล Neural Network / Deep Learning เราจะปรับ Learning Rate อย่างไรให้เหมาะสม เราสามารถเทรนไปปรับไปได้ไหม หรือต้องใช้ค่าคงที่ตลอด และโมเดลที่ Transfer Learning กับโมเดลที่เทรนใหม่เลย ต้องการ Learning Rate, จำนวน Epoch ต่างกันอย่างไร