natural language Archives

Large Language Model (LLM) คืออะไร

A timeline of existing large language models in recent years

โมเดลภาษาขนาดใหญ่ (Large Language Model, LLM) เป็นรูปแบบของปัญญาประดิษฐ์ (AI) ชนิดหนึ่งที่โมเดลถูกเทรนด้วยข้อมูลข้อความมากมายมหาศาลจากอินเตอร์เน็ต สร้างเป็นโมเดลภาษา Language Model ให้สามารถมีความเข้าใจความหมายข้อความตามบริบท (Context) และสร้างข้อความที่สอดคล้องออกมาได้

ChatGPT คืออะไร ChatGPT มีค่าใช้จ่ายไหม ChatGPT นำมาใช้ประโยชน์อะไร

ChatGPT คือ แชทบอทปัญญาประดิษฐ์ (AI Chatbot) ที่ถูกสร้างโดย OpenAI เปิดตัวเมื่อ เดือน พฤษจิกายน 2022 OpenAI พัฒนา ChatGPT ขึ้นมาโดยใช้เทคนิค Deep Learning โดยถูกสร้างต่อยอดจากโมเดล GPT-3.5 และ GPT-4 ซึ่งเป็น โมเดลภาษาขนาดใหญ่ (LLM) ที่ถูกเทรนด้วยข้อมูลข้อความจำนวนมหาศาลจากอินเทอร์เน็ต ChatGPT ถูกออกแบบให้เข้าใจ และสร้างข้อความภาษาธรรมชาติ Natural Language (ภาษาที่คนใช้ในชีวิตประจำวันทั่วไป)

Language Model คืออะไร Generate Text จาก AWD_LSTM Wikipedia ภาษาไทย – NLP ep.9

The Allée des Nations in front of the Palace of Nations (United Nations Office at Geneva) Credit https://commons.wikimedia.org/wiki/File:United_Nations_Flags_-_cropped.jpg

ใน ep นี้เราจะมาศึกษาอีก Concept นึงที่สำคัญของ NLP คือ Language Model หรือ โมเดลของภาษา ซึ่งถ้าโมเดลของเรามีความสามารถที่จะเข้าใจภาษาโดยภาพรวมได้ดีระดับหนึ่งแล้ว ก็จะส่งผลให้โมเดลนั้นทำงานเฉพาะทาง เช่น Classification, Sentiment Analysis, Machine Translation, Question-Answer ได้ดีขึ้นไปด้วยในตัว

Part of Speech Tagging คืออะไร และ Named-Entity Recognition / Tagging คืออะไร สอน POS Tagging, NER ภาษาไทย – PyThaiNLP ep.4

In Entity Linking, each Named Entity is linked to a unique identifier. Often, this identifier corresponds to a Wikipedia page. Credit https://commons.wikimedia.org/wiki/File:Entity_Linking_-_Short_Example.png

งานทาง NLP อีกงาน ที่เป็นเรื่องพื้นฐานสุด ๆ ที่เราต้องเรียนรู้ ก่อนที่จะเข้าใจ ภาษาใด ๆ คือ Part of Speech ส่วนของคำพูด หรือ คำไหนทำหน้าที่อะไรในประโยค เช่น คำนาม กริยา กรรม เมื่อได้คำนามมาแล้ว เราจะมาเรียนรู้ Named-Entity Recognition ทำ Named-Entity Tagging ว่าคำ ๆ นี้ เป็น ชื่อสิ่งที่อยู่ในโลกความเป็นจริงหรือไม่ ประเภทอะไร เช่น ชื่อคน สถานที่ องค์กร

Spell Checker คืออะไร Spell Checker ภาษาไทย ตรวจการสะกดคำภาษาไทย ด้วย PyThaiNLP โปรแกรมตรวจคำผิดภาษาไทย ด้วย Python – PyThaiNLP ep.3

จากใน ep ที่แล้ว เราได้ใช้งาน PyThaiNLP ตัดคำภาษาไทย ตัดข้อความยาว ๆ Tokenization ออกมาเป็น Token เรียบร้อยแล้ว ใน ep นี้ เราจะมาดูว่า แต่ละ Token นั่นสะกดถูกหรือไหม Spellchecker รวมไปถึงแนะนำ และแก้ไขให้ถูกต้อง Spelling Correction ก่อนที่จะนำไปป้อนให้โมเดลในงานวิเคราะห์ทางด้าน NLP ต่อไป

สอน TensorFlow.js สร้าง NLP Toxicity Classifier จำแนกคำพูด Toxic จากโมเดลสำเร็จรูป – tfjs ep.6

Shouting in anger. Credit https://commons.wikimedia.org/wiki/File:Eve8.jpg

ใน ep นี้เราจะเรียนรู้การสร้าง Toxicity Classifier แบบ Multi-label Classification จำแนกคำพูด Toxic ซึ่งเป็นงานด้าน NLP โดยใช้โมเดลสำเร็จรูป สำหรับภาษา JavaScript ด้วย TensorFlow.js

Recurrent Neural Network (RNN) คืออะไร Gated Recurrent Unit (GRU) คืออะไร สอนสร้าง RNN ถึง GRU ด้วยภาษา Python – NLP ep.9

A diagram for a one-unit Gated Recurrent Unit (GRU). From bottom to top : input state, hidden state, output state. Gates are sigmoïds or hyperbolic tangents. Other operators : element-wise plus and multiplication. Weights are not displayed. Credit https://en.m.wikipedia.org/wiki/File:Gated_Recurrent_Unit.svg

ใน ep นี้เราจะมาสร้าง Artificial Neural Network แบบ Recurrent Neural Network (RNN) กันแต่ต้น ด้วยภาษา Python เริ่มตั้งแต่ ปัญหาว่าทำไมต้องมี RNN พื้นฐานแนวคิด ศึกษาการทำงานของ RNN แบบง่าย ข้อดี ข้อเสีย แล้วพัฒนาโมเดล ปรับปรุง แก้ไขข้อจำกัดของโมเดล RNN แต่ละแบบ ไปจนถึง Gated Recurrent Unit (GRU)

Sentiment Classification วิเคราะห์รีวิวหนัง IMDB แง่บวก แง่ลบ ด้วย AWD_LSTM Deep Neural Network เทรนแบบ ULMFiT Transfer Learning – NLP ep.8

The Long Short-Term Memory (LSTM) cell can process data sequentially and keep its hidden state through time. Credit https://commons.wikimedia.org/wiki/File:The_LSTM_cell.png

ใน ep ที่แล้วเราใช้ Naive Bayes และ Logistic Regression ที่เป็นอัลกอริทึมที่เป็นที่นิยมก่อนยุค Deep Learning แต่ใน ep นี้เราจะเปลี่ยนมาใช้ Deep Neural Network แทนว่าจะมีประสิทธิภาพต่างกันอย่างไร

Sentiment Classification วิเคราะห์รีวิวหนัง IMDB แง่บวก แง่ลบ ด้วย Naive Bayes และ Logistic Regression – NLP ep.5

imdb movie reviews avengers endgame screenshot 01

ใน ep นี้ เราจะใช้ความรู้จาก ep ก่อน ในการสร้าง Term-Document Matrix ด้วย CountVectorizer ด้วยข้อมูลรีวิวหนัง IMDB แล้วนำ Term-Document Matrix ที่ได้ มาวิเคราะห์ Sentiment Classification ว่าเป็นรีวิวแง่บวก หรือแง่ลบ (positive/negative) ด้วยเทคนิค Naive Bayes และ Logistic Regression

Latent Semantic Analysis (LSA) คืออะไร Text Classification ด้วย Singular Value Decomposition (SVD), Non-negative Matrix Factorization (NMF) – NLP ep.4

3D Plot of Latent Semantic Analysis (LSA)

ใน ep นี้ เราจะมาเรียนรู้ งานจำแนกหมวดหมู่ข้อความ Text Classification ซึ่งเป็นงานพื้นฐานทางด้าน NLP ด้วยการทำ Latent Semantic Analysis (LSA) วิเคราะห์หาความหมายที่แฝงอยู่ในข้อความ โดยใช้เทคนิค Singular Value Decomposition (SVD) และ Non-negative Matrix Factorization (NMF)