LangChain is a framework that revolves around large language models (LLMs). It enables the development of applications using LLMs for various purposes like chatbots, generative question-answering, summarization, and more.
Tag Archives: NLP
Language Model คืออะไร Generate Text จาก AWD_LSTM Wikipedia ภาษาไทย – NLP ep.9
ใน ep นี้เราจะมาศึกษาอีก Concept นึงที่สำคัญของ NLP คือ Language Model หรือ โมเดลของภาษา ซึ่งถ้าโมเดลของเรามีความสามารถที่จะเข้าใจภาษาโดยภาพรวมได้ดีระดับหนึ่งแล้ว ก็จะส่งผลให้โมเดลนั้นทำงานเฉพาะทาง เช่น Classification, Sentiment Analysis, Machine Translation, Question-Answer ได้ดีขึ้นไปด้วยในตัว
Part of Speech Tagging คืออะไร และ Named-Entity Recognition / Tagging คืออะไร สอน POS Tagging, NER ภาษาไทย – PyThaiNLP ep.4
งานทาง NLP อีกงาน ที่เป็นเรื่องพื้นฐานสุด ๆ ที่เราต้องเรียนรู้ ก่อนที่จะเข้าใจ ภาษาใด ๆ คือ Part of Speech ส่วนของคำพูด หรือ คำไหนทำหน้าที่อะไรในประโยค เช่น คำนาม กริยา กรรม เมื่อได้คำนามมาแล้ว เราจะมาเรียนรู้ Named-Entity Recognition ทำ Named-Entity Tagging ว่าคำ ๆ นี้ เป็น ชื่อสิ่งที่อยู่ในโลกความเป็นจริงหรือไม่ ประเภทอะไร เช่น ชื่อคน สถานที่ องค์กร
Spell Checker คืออะไร Spell Checker ภาษาไทย ตรวจการสะกดคำภาษาไทย ด้วย PyThaiNLP โปรแกรมตรวจคำผิดภาษาไทย ด้วย Python – PyThaiNLP ep.3
จากใน ep ที่แล้ว เราได้ใช้งาน PyThaiNLP ตัดคำภาษาไทย ตัดข้อความยาว ๆ Tokenization ออกมาเป็น Token เรียบร้อยแล้ว ใน ep นี้ เราจะมาดูว่า แต่ละ Token นั่นสะกดถูกหรือไหม Spellchecker รวมไปถึงแนะนำ และแก้ไขให้ถูกต้อง Spelling Correction ก่อนที่จะนำไปป้อนให้โมเดลในงานวิเคราะห์ทางด้าน NLP ต่อไป
Python ตัดคำภาษาไทย ด้วย PyThaiNLP API ตัดคำ Word Tokenize ภาษาไทย ตัวอย่างการตัดคำภาษาไทย อัลกอริทึม deepcut, newmm, longest, pyicu, attacut – PyThaiNLP ep.2
ใน ep นี้เราจะมาเรียนรู้ หนึ่งในงาน NLP ภาษาไทย ที่เป็นที่ต้องการมากที่สุด เนื่องจากภาษาไทย เป็นภาษาที่เขียนติดกันหมด ไม่มีการเว้นคำด้วย Space เหมือนภาษาอังกฤษ ทำให้การตัดคำภาษาไทย หรือ Tokenization มีความซับซ้อน และ การตัดคำที่ถูกต้องมีความสำคัญ ต่อการนำข้อมูลคำศัพท์ ไปประมวลผลต่อ เช่น Feed เข้าโมเดล Machine Learning, Deep Learning ต่อไป
สอน TensorFlow.js สร้าง NLP Toxicity Classifier จำแนกคำพูด Toxic จากโมเดลสำเร็จรูป – tfjs ep.6
ใน ep นี้เราจะเรียนรู้การสร้าง Toxicity Classifier แบบ Multi-label Classification จำแนกคำพูด Toxic ซึ่งเป็นงานด้าน NLP โดยใช้โมเดลสำเร็จรูป สำหรับภาษา JavaScript ด้วย TensorFlow.js
PyThaiNLP คืออะไร Tutorial สอนใช้งาน PyThaiNLP Library NLP ภาษาไทย สำหรับ Python เบื้องต้น – PyThaiNLP ep.1
ใน ep นี้เราจะมาเรียนรู้ NLP ภาษาไทย กับการเริ่มต้นเรียนรู้การใช้งาน Library NLP ภาษาไทย ที่ดีที่สุดของภาษา Python ในปัจจุบัน คือ PyThaiNLP ที่จะเป็นพื้นฐานในการพัฒนาต่อยอดสร้างโมเดล Machine Learning ที่จะแก้ปัญหาด้าน NLP ที่ซับซ้อนขึ้นต่อไป
Transformer คืออะไร Self-Attention คืออะไร สอน Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Transformer – NLP ep.12
จาก ep ที่แล้ว Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Sequence to Sequence RNN/GRU Model และ Attention ใน ep นี้ เราจะมาเรียนรู้เรื่อง NLP ในงาน Neural Machine Translation กันต่อ แต่แทนที่จะใช้ RNN เหมือน ep ก่อน ๆ ใน ep นี้เราจะใช้สถาปัตยกรรมใหม่ ที่เรียกว่า Transformer ที่เน้น Attention แทนการใช้ RNN ว่าจะมีประสิทธิภาพเพิ่มขึ้นอย่างไร
Attention Mechanism คืออะไร ใน Neural Network สอน Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Sequence to Sequence RNN Model และ Attention Mechanism – NLP ep.11
จาก ep ที่แล้ว Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Sequence to Sequence RNN Model ใน ep นี้ เราจะมาเรียนรู้ Neural Machine Translation กันต่อ แต่จะใช้เทคนิคที่เรียกว่า Attention Mechanism มาเพิ่มประสิทธิภาพของโมเดล
โมเดล Sequence to Sequence คืออะไร Neural Machine Translation แปลภาษาฝรั่งเศส เป็นภาษาอังกฤษ ด้วย Sequence to Sequence RNN Model เทรนด้วย Teacher Forcing – NLP ep.10
ใน ep นี้เราจะเรียนรู้งานที่สำคัญอีกอย่างหนึ่งใน NLP คือ งานแปลภาษาด้วยเครื่อง หรือ Machine Translation หรือ Neural Machine Transation โดยใช้โมเดลแบบ Sequence to Sequence Recurrent Neural Network (RNN)