Quantization คืออะไร Post-Training Quantization มีประโยชน์อย่างไร กับ Deep Neural Network บนอุปกรณ์ Embedded Device, IoT, Edge, มือถือ Mobile – tflite ep.2

ถ้าข้างนอกมีฝนตกอยู่ เราอาจจะไม่ได้ต้องการทราบว่าฝนกำลังตกกี่เม็ดต่อวินาที เราต้องการทราบแค่เพียงว่า ฝนตกหนัก ฝนตกปานกลาง หรือฝนตกเล็กน้อย เช่นเดียวกับการพยากรณ์ของ Neural Network บ่อยครั้งที่เราไม่ได้ต้องการความแม่นยำขนาด ตัวเลยทศนิยม Floating Point 32 Bit หรือแม้กระทั่ง 16 Bit และในหลาย ๆ งานใช้แค่จำนวนเต็ม Integer 8 Bit ก็เพียงพอแล้ว

TensorFlow Lite (TFLite) คืออะไร สอนแปลงโมเดล TensorFlow ใน Python ไปรันบนมือถือ Mobile, Android, iOS, อุปกรณ์ Edge, IoT Device, Raspberry Pi, Arduino, Embedded, Microcontroller – tflite ep.1

งานหลาย ๆ งาน มีความต้องการใช้งานโมเดล Machine Learning บนอุปกรณ์ Edge ของ Network แทนที่จะต้องเสียเวลา ส่งข้อมูลไป-กลับระหว่าง Server เราสามารถแปลงโมเดลเป็น TensorFlow Lite ให้ไปรันบนมือถือ และอุปกรณ์ Edge ได้เลย