จากใน ep ที่แล้ว เราได้ใช้งาน PyThaiNLP ตัดคำภาษาไทย ตัดข้อความยาว ๆ Tokenization ออกมาเป็น Token เรียบร้อยแล้ว ใน ep นี้ เราจะมาดูว่า แต่ละ Token นั่นสะกดถูกหรือไหม Spellchecker รวมไปถึงแนะนำ และแก้ไขให้ถูกต้อง Spelling Correction ก่อนที่จะนำไปป้อนให้โมเดลในงานวิเคราะห์ทางด้าน NLP ต่อไป
Tag Archives: python
Python ตัดคำภาษาไทย ด้วย PyThaiNLP API ตัดคำ Word Tokenize ภาษาไทย ตัวอย่างการตัดคำภาษาไทย อัลกอริทึม deepcut, newmm, longest, pyicu, attacut – PyThaiNLP ep.2
ใน ep นี้เราจะมาเรียนรู้ หนึ่งในงาน NLP ภาษาไทย ที่เป็นที่ต้องการมากที่สุด เนื่องจากภาษาไทย เป็นภาษาที่เขียนติดกันหมด ไม่มีการเว้นคำด้วย Space เหมือนภาษาอังกฤษ ทำให้การตัดคำภาษาไทย หรือ Tokenization มีความซับซ้อน และ การตัดคำที่ถูกต้องมีความสำคัญ ต่อการนำข้อมูลคำศัพท์ ไปประมวลผลต่อ เช่น Feed เข้าโมเดล Machine Learning, Deep Learning ต่อไป
สอน TensorFlow Lite สร้าง Convolutional Neural Network (ConvNet, CNN) จำแนกรูปภาพแฟชั่น Fashion MNIST แปลง Convert ไปรันบนมือถือ, อุปกรณ์ Edge – tflite ep.4
ใน ep นี้เราจะสร้าง Convolutional Neural Network (ConvNet, CNN) ด้วยภาษา Python โดยใช้ TensorFlow สำหรับจำแนกรูปภาพแฟชั่น เสื้อผ้า กางเกง กระโปรง รองเท้า กระเป๋า แบบ Single Label Multiclass Classification จากชุดข้อมูล Fashion MNIST Dataset เซฟเป็น SavedModel แล้วใช้ TensorFlow Lite Converter ทำการ Convert เป็น TensorFlow Lite
TensorFlow Lite Converter คืออะไร สอนแปลงโมเดล MobileNet ทำ Transfer Learning สร้าง Custom Classifier Head ไปรันบนมือถือ Mobile, อุปกรณ์ IoT Device – tflite ep.3
TensorFlow Lite Converter เป็นตัวแปลงโมเดล TensorFlow ตัวเต็ม ให้ย่อลงมาเป็นโมเดลขนาดเล็ก ที่ทำงานได้รวดเร็ว สำหรับรันกับ Interpreter บนอุปกรณ์ Edge Device ที่มี Resource จำกัด ด้วยเทคนิค Quantization โดยพิจารณาจาก Hardware ปลายทาง ที่จะนำโมเดลไป Deploy เช่น อุปกรณ์ IoT Device, มือถือ Mobile, Microcontroller ต่าง ๆ
TensorFlow Lite (TFLite) คืออะไร สอนแปลงโมเดล TensorFlow ใน Python ไปรันบนมือถือ Mobile, Android, iOS, อุปกรณ์ Edge, IoT Device, Raspberry Pi, Arduino, Embedded, Microcontroller – tflite ep.1
งานหลาย ๆ งาน มีความต้องการใช้งานโมเดล Machine Learning บนอุปกรณ์ Edge ของ Network แทนที่จะต้องเสียเวลา ส่งข้อมูลไป-กลับระหว่าง Server เราสามารถแปลงโมเดลเป็น TensorFlow Lite ให้ไปรันบนมือถือ และอุปกรณ์ Edge ได้เลย
PyTorch 1.4.0 ออกแล้ว
PyTorch เวอร์ชัน 1.4.0 ออกแล้ว ใน Release นี้จะเป็นการเน้นพัฒนาในส่วน JIT, ONNX, Distributed, Performance และ Eager Frontend เป็นหลัก ในส่วน Experimental มีการพัฒนาปรับปรุงในหลายเรื่อง Mobile และ Quantization รวมถึง Experimental Feature ใหม่ เช่น RPC-Based Model Parallel Distributed Training และ Language Bindings สำหรับภาษา Java (Inference เท่านั้น)
TensorFlow.js converter คืออะไร สอน tensorflowjs_converter แปลงโมเดล Pre-trained ใน Python เป็น JavaScript JSON ไว้ใช้ใน TensorFlow.js – tfjs ep.9
เนื่องจากใน Web Browser มีทรัพยากรจำกัด การที่เราจะใช้ TensorFlow.js เทรนโมเดลตั้งแต่ต้น จะทำให้เสียเวลาค่อนข้างมาก ในการใช้งาน TensorFlow.js ส่วนใหญ่ เราจึงจะต้องการเทรนโมเดล ด้วยภาษา Python บน Cloud หรือ เครื่อง Server ขนาดใหญ่ ที่มี GPU ความเร็วสูง เมื่อเรียบร้อยแล้ว แล้วนำโมเดลนั้นมาแปลง Convert เพื่อไป Load ใช้งานบน Web Browser รัน JavaScript อีกทีหนึ่ง
PyThaiNLP คืออะไร Tutorial สอนใช้งาน PyThaiNLP Library NLP ภาษาไทย สำหรับ Python เบื้องต้น – PyThaiNLP ep.1
ใน ep นี้เราจะมาเรียนรู้ NLP ภาษาไทย กับการเริ่มต้นเรียนรู้การใช้งาน Library NLP ภาษาไทย ที่ดีที่สุดของภาษา Python ในปัจจุบัน คือ PyThaiNLP ที่จะเป็นพื้นฐานในการพัฒนาต่อยอดสร้างโมเดล Machine Learning ที่จะแก้ปัญหาด้าน NLP ที่ซับซ้อนขึ้นต่อไป
Transformer คืออะไร Self-Attention คืออะไร สอน Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Transformer – NLP ep.12
จาก ep ที่แล้ว Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Sequence to Sequence RNN/GRU Model และ Attention ใน ep นี้ เราจะมาเรียนรู้เรื่อง NLP ในงาน Neural Machine Translation กันต่อ แต่แทนที่จะใช้ RNN เหมือน ep ก่อน ๆ ใน ep นี้เราจะใช้สถาปัตยกรรมใหม่ ที่เรียกว่า Transformer ที่เน้น Attention แทนการใช้ RNN ว่าจะมีประสิทธิภาพเพิ่มขึ้นอย่างไร
Attention Mechanism คืออะไร ใน Neural Network สอน Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Sequence to Sequence RNN Model และ Attention Mechanism – NLP ep.11
จาก ep ที่แล้ว Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Sequence to Sequence RNN Model ใน ep นี้ เราจะมาเรียนรู้ Neural Machine Translation กันต่อ แต่จะใช้เทคนิคที่เรียกว่า Attention Mechanism มาเพิ่มประสิทธิภาพของโมเดล