เราคงเคยได้ยินว่า จำเป็นต้องใช้ GPU ในการเทรน Deep Learning ที่ Deep Learning ทำงานได้ดีในยุคปัจจุบัน ก็เพราะมี Data มหาศาลจากอินเตอร์เน็ต และ มี Hardware คือ GPU ทำให้การวิจัยอัลกอริทึมใหม่ ๆ สร้างโมเดล Deep Neural Network แบบใหม่ ๆ เทคโนโลยีพัฒนาได้อย่างรวดเร็ว

แต่มันเป็นเรื่องจริงหรือไม่ GPU มีผลแค่ไหน เทียบกับเราใช้ CPU ธรรมดา เราจะมาทดสอบกัน

CPU

CPU นั้นออกแบบมาให้ทำงานทีละงาน (Serial) ให้เร็วที่สุด ไม่ว่าจะซับซ้อนเท่าไร (ลึก) มีชุดคำสั่งพิเศษโดยเฉพาะ, รองรับแสง สี เสียง เน็ตเวิร์ค Security อุปกรณ์ต่อพ่วง, มีการ Optimize เอางานมาต่อ ๆ กันเป็น Pipeline, มีคาดเดาคำสั่งต่อไป เพื่อประหยัดเวลา, etc. ดังนั้น CPU 1 หน่วย จะใหญ่มาก แต่หลัง ๆ เริ่มมีการเพิ่มจำนวน Core เพื่อรองรับการประมวลผลแบบขนาน ดังเช่น Intel CPU Coffee Lake รูปด้านล่างมี 6 Core เรียกว่า Hexa-Core

GPU

แต่ GPU มีแนวคิดในการออกแบบที่ต่างออกไปโดยสิ้นเชิงคือ ทำงานง่าย ๆ หลาย ๆ งานขนานกัน (Parallel) ให้ได้พร้อมกันจำนวนมากที่สุด (กว้าง) Optimize โดยมี Core จำนวนมาก เช่น NVIDIA Turing TU102 ดังรูปด้านล่าง ไม่มีอะไรเลย มีแต่สี่เหลี่ยมสีเขียว คือ Streaming Multiprocessors (SM) 72 ตัว ในแต่ละตัวบรรจุ 64 CUDA Core ไว้ภายใน รวมเป็น 4,608 Core

เพราะเหตุนี้ GPU จึงเหมาะกับการประมวลผล Graphic บนหน้าจอความละเอียดสูงหลายล้าน Pixel ในปัจจุบัน เพราะแต่ละ Pixel ต้องการการประมวลผลเหมือน ๆ กันในทุก ๆ จุด

และเหมาะกับใช้เทรน Deep Learning ที่มีหลายล้าน Neuron ด้วย เพราะแต่ละ Neuron ก็ต้องการการประมวลผลเหมือน ๆ กัน โดยเฉพาะ Deep Neural Network แบบ Convolutional Neural Network (CNN)

เรามาเริ่มกันเลย

Check it out on github Last updated: 02/07/2020 11:16:12

ใน Notebook นี้เราจะมาลองเปรียบเทียบ การเทรน Deep Neural Networks ด้วย CPU และ GPU ดูว่าใช้เวลาต่างกันอย่างไร

0. Magic Commands¶

In [0]:

%reload_ext autoreload
%autoreload 2
%matplotlib inline

1. Import Library¶

In [0]:

import fastai
from fastai import *
from fastai.vision import *
from fastai.metrics import accuracy

2. ข้อมูล¶

ใช้ชุดข้อมูล Dataset พันธุ์หมาแมว Oxford-IIIT Pet Dataset by O. M. Parkhi et al., 2012

In [0]:

path = untar_data(URLs.PETS)
path_images = path/'images'
filenames = get_image_files(path_images)

3. เตรียมข้อมูล¶

เพื่อความสะดวก เราจะประกาศฟังก์ชัน แล้วไปเรียกสร้างก่อน fit ด้วย CPU และ GPU

In [0]:

batchsize = 32
epoch = 6
np.random.seed(55)
regex_pattern = r'/([^/]+)_\d+.jpg$'

def get_databunch():
    return ImageDataBunch.from_name_re(path_images, 
                                filenames, 
                                regex_pattern, 
                                ds_tfms=get_transforms(), 
                                size=224, bs=batchsize).normalize(imagenet_stats)

4. สร้างโมเดล¶

เพื่อความสะดวก เราจะประกาศฟังก์ชัน แล้วไปเรียกสร้างก่อน fit ด้วย CPU และ GPU

• เคสนี้เราจะใช้โมเดล models.resnet34
• pretrained=False หมายถึง เราจะเริ่มเทรนตั้งแต่ต้น ไม่เอา Weight ที่เคยเทรนกับ ImageNet มาแล้วมาใช้

In [0]:

def get_learner(databunch):
    return cnn_learner(databunch, models.resnet34, 
                      pretrained=True, 
                      metrics=accuracy, callback_fns=ShowGraph)

5. เริ่มต้นเทรนโมเดล¶

เราจะเริ่มเทรนด้วย CPU เปรียบเทียบกับ GPU แล้วจับเวลาที่ใช้ในการเทรน

5.1 ลองเทรนด้วย CPU¶

In [0]:

fastai.torch_core.defaults.device = 'cpu'
learner = get_learner(get_databunch())
learner.fit_one_cycle(epoch)

epoch	train_loss	valid_loss	accuracy	time
0	1.118267	0.379126	0.886333	08:35
1	0.525315	0.288772	0.912720	08:33
2	0.386514	0.286258	0.912720	08:33
3	0.325070	0.243130	0.930988	08:33
4	0.265408	0.218235	0.933018	08:33
5	0.203674	0.210911	0.936401	08:35

ใช้เวลาไปเกือบ 1 ชั่วโมง

5.2 ลองเทรนด้วย GPU¶

In [0]:

fastai.torch_core.defaults.device = 'cuda'
learner = get_learner(get_databunch())
learner.fit_one_cycle(epoch)

epoch	train_loss	valid_loss	accuracy	time
0	1.115145	0.351891	0.893099	00:36
1	0.532363	0.285219	0.903248	00:35
2	0.400836	0.251682	0.916103	00:36
3	0.319096	0.211088	0.933018	00:36
4	0.245120	0.196490	0.935047	00:36
5	0.230451	0.195243	0.935047	00:36

ใช้เวลาไม่ถึง 5 นาที

6. สรุป¶

เปรียบเทียบ เวลาในการเทรน 6 Epoch ด้วย CPU และ GPU ในตารางดังนี้

Device	Time	Accuracy	Valid_Loss
CPU	51:22	93.6%	0.21
GPU	3:36	93.5%	0.19

สังเกตว่า ผลลัพท์ใกล้เคียงกัน แต่ใช้เวลาต่างกันถึงเกือบ 20 เท่า

หมายเหตุ¶

• อันนี้เป็นการทดสอบแบบคร่าว ๆ ให้พอเห็นภาพ มีตัวแปรอีกหลายอย่าง เช่น จำนวน Epoch, โมเดล, รุ่น GPU, CPU, ชนิดของ Disk, Batch Size, Memory, etc.

• CPU ที่ใช้ คือ

    Machine type: n1-highmem-8 (8 vCPUs, 52 GB memory)
    CPU: platformIntel Skylake

• GPU ที่ใช้ คือ

    Machine type: n1-highmem-8 (8 vCPUs, 52 GB memory)
    CPU: platformIntel Skylake
    GPUs: 1 x NVIDIA Tesla P4

Credit¶

• Oxford-IIIT Pet Dataset by O. M. Parkhi et al., 2012
• https://course.fast.ai/videos/?lesson=1
• https://cloud.google.com/compute/all-pricing

In [0]:

Keng Surapong

Project Manager at Bua Labs

The ultimate test of your knowledge is your capacity to convey it to another.