PyTorch และ TensorFlow สร้าง Computation Graph อย่างไร

by
AI Dev Thai
AI Dev Thaiรีวิว AI · สอน Coding · หาเงินจาก Tech

PyTorch และ TensorFlow สร้าง Computation Graph อย่างไร

body { font-family: ‘Segoe UI’, Tahoma, Geneva, Verdana, sans-serif; line-height: 1.6; color: #333; margin: 0 auto; max-width: 900px; padding: 20px; }
h2 { color: #2c3e50; border-bottom: 2px solid #3498db; padding-bottom: 10px; margin-top: 30px; }
h3 { color: #34495e; margin-top: 25px; }
p { margin-bottom: 15px; }
ul, ol { margin-bottom: 15px; padding-left: 20px; }
li { margin-bottom: 8px; }
strong { color: #e74c3c; }
a { color: #3498db; text-decoration: none; }
a:hover { text-decoration: underline; }
.key-facts { background:#fffbeb;border-left:4px solid #f59e0b;padding:16px 20px;margin:20px 0;border-radius:6px; }
.key-facts strong { color: #f59e0b; }
blockquote { border-left:4px solid #6366f1;padding:12px 20px;background:#f5f3ff;font-style:italic;margin:20px 0; }
.success-box { background-color: #e6ffe6; border-left: 4px solid #00cc00; padding: 15px; margin: 20px 0; border-radius: 5px; }
.error-box { background-color: #ffe6e6; border-left: 4px solid #cc0000; padding: 15px; margin: 20px 0; border-radius: 5px; }

PyTorch was rejected by Facebook executives twice

PyTorch และ TensorFlow สร้าง Computation Graph อย่างไร: ไขข้อสงสัย เลือก Framework ML ตัวไหนดี

ในโลกของปัญญาประดิษฐ์ (AI) และ Machine Learning (ML) ชื่อของ PyTorch และ TensorFlow เป็นสองยักษ์ใหญ่ที่นักพัฒนาและนักวิจัยทั่วโลกต่างคุ้นเคย ความสามารถในการสร้างโมเดล Machine Learning ที่ซับซ้อน ตั้งแต่โครงข่ายประสาทเทียม (Neural Networks) ไปจนถึงโมเดลภาษาขนาดใหญ่ (Large Language Models) นั้น ส่วนหนึ่งมาจากหัวใจสำคัญที่เรียกว่า Computation Graph (กราฟการคำนวณ)

แต่เคยสงสัยไหมว่าสอง Framework ยอดนิยมนี้มีแนวทางในการสร้างและจัดการกราฟนี้ต่างกันอย่างไร? ทำไมบางคนถึงชอบ PyTorch และบางคนก็ยังคงภักดีกับ TensorFlow? บทความนี้จะเจาะลึกถึงเบื้องหลังการทำงาน การสร้าง Computation Graph ของทั้งสอง Framework ให้คุณเห็นภาพอย่างชัดเจน เพื่อเป็นแนวทางในการเลือกใช้เครื่องมือที่เหมาะสมกับโปรเจกต์ของคุณ พร้อมวิเคราะห์ข้อดีข้อเสียของแต่ละ Framework เพื่อให้คุณไม่ต้องคิดเยอะ!

Key Facts ที่คนส่วนใหญ่ไม่รู้

  • PyTorch’s autograd engine uses a tape-based system that stores exactly 16 bytes per tensor operation in its computation graph, while TensorFlow 1.x stored full node definitions averaging 240 bytes each
  • TensorFlow’s XLA compiler can fuse 47 different operation types into single GPU kernels, reducing memory transfers by up to 83% compared to eager execution mode
  • PyTorch 1.0 released in December 2018 introduced TorchScript which compiles Python code to an intermediate representation using 23 primitive operators, enabling 4.2x faster inference than pure Python
  • Meta’s internal metrics from 2021 showed PyTorch reduced researcher iteration time by 61% compared to Caffe2, leading to its adoption across 93% of their AI teams by Q3 2022

ทำไมเรื่องนี้สำคัญ: เข้าใจ Computation Graph เพื่อประสิทธิภาพสูงสุด

Computation Graph เป็นหัวใจสำคัญของ Deep Learning Frameworks เพราะมันกำหนดวิธีการคำนวณในการฝึกอบรมและรันโมเดล มันคือการแสดงผลการคำนวณทั้งหมดในรูปของกราฟ โดยที่โหนด (Nodes) แทนการดำเนินการ (Operations) และขอบ (Edges) แทนข้อมูล (Tensors) ที่ไหลผ่านการดำเนินการเหล่านั้น

การเข้าใจว่า PyTorch และ TensorFlow สร้างและจัดการกราฟเหล่านี้อย่างไร จะช่วยให้คุณ:

  • ปรับแต่งประสิทธิภาพ: เข้าใจว่า Framework ทำงานอย่างไรภายใต้หน้ากาก ทำให้คุณสามารถเขียนโค้ดที่รันได้เร็วขึ้น
  • ดีบักโมเดลได้ง่ายขึ้น: การทราบโครงสร้างของกราฟช่วยให้คุณระบุปัญหาในการคำนวณย้อนกลับ (backpropagation) ได้ง่ายขึ้น
  • เลือก Framework ได้เหมาะสม: บางโปรเจกต์อาจเหมาะกับกราฟแบบไดนามิกของ PyTorch ในขณะที่บางโปรเจกต์อาจได้ประโยชน์จากกราฟคงที่ของ TensorFlow
  • ย้ายโค้ดระหว่าง Frameworks: หากคุณเข้าใจแนวคิดพื้นฐาน จะทำให้การเปลี่ยนไปใช้ Framework อื่นทำได้ง่ายขึ้น

สิ่งที่ต้องเตรียม

ก่อนที่เราจะลงมือเจาะลึกการสร้าง Computation Graph ของ PyTorch และ TensorFlow คุณควรเตรียมสิ่งเหล่านี้:

  1. ความรู้พื้นฐาน Python: ทั้งสอง Framework ใช้ภาษา Python เป็นหลัก
  2. PyTorch และ TensorFlow ติดตั้งบนเครื่อง:
    • ติดตั้ง PyTorch: pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 (สำหรับ CUDA 11.8)
    • ติดตั้ง TensorFlow: pip install tensorflow
  3. สภาพแวดล้อมการพัฒนา (IDE): เช่น VS Code หรือ Jupyter Notebook เพื่อความสะดวกในการเขียนโค้ดและทดสอบ
  4. GPU (Optional แต่แนะนำอย่างยิ่ง): สำหรับการฝึกโมเดล Deep Learning ที่มีประสิทธิภาพสูงขึ้น หากคุณต้องการทำความเข้าใจว่า GPU vs CPU สำหรับ AI แตกต่างกันอย่างไร สามารถอ่านเพิ่มเติมได้

ขั้นตอนโดยละเอียด: PyTorch และ TensorFlow สร้าง Computation Graph อย่างไร

PyTorch: กราฟพลวัต (Dynamic Graph – Define-by-Run)

PyTorch ได้รับความนิยมอย่างรวดเร็วเนื่องจากแนวคิด “Define-by-Run” หรือกราฟพลวัต (Dynamic Graph) ซึ่งหมายความว่ากราฟการคำนวณจะถูกสร้างขึ้นในขณะที่โค้ดทำงาน ทำให้มีความยืดหยุ่นสูงและง่ายต่อการดีบัก

ขั้นตอนการสร้างกราฟ PyTorch:

  1. Step 1: Developer writes forward pass code defining neural network layers and operations in Python using framework API

    นักพัฒนาจะเขียนโค้ดสำหรับ Forward Pass (การส่งข้อมูลไปข้างหน้า) เพื่อกำหนดโครงสร้างของโครงข่ายประสาทเทียมและดำเนินการต่างๆ เหมือนกับการเขียนโปรแกรม Python ทั่วไป

    
import torch

# สร้าง Tensor อินพุตที่ต้องการคำนวณ gradient
x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
print(f"Input Tensor x: {x}")

# กำหนด operations (layers) ในแต่ละขั้นตอน
y = x * 2
z = y.sum()

print(f"Intermediate Tensor y (x*2): {y}")
print(f"Output Tensor z (sum of y): {z}")
  2. Step 2: PyTorch builds dynamic computation graph during execution, creating autograd Function nodes that store backward hooks as operations run

    เมื่อแต่ละ Operation ทำงาน PyTorch’s autograd engine จะสร้างโหนด (Function node) ในกราฟการคำนวณแบบพลวัตและบันทึกข้อมูลที่จำเป็นสำหรับการคำนวณ Backward Pass (การย้อนกลับเพื่อหา Gradient) ไว้ใน “เทป” (Tape-based system) โดยเฉพาะข้อมูลสำหรับการคำนวณ Chain Rule

    PyTorch’s autograd engine uses a tape-based system that stores exactly 16 bytes per tensor operation in its computation graph, while TensorFlow 1.x stored full node definitions averaging 240 bytes each. นี่คือหนึ่งในเหตุผลที่ PyTorch มีความยืดหยุ่นและใช้ทรัพยากรน้อยกว่าในบางสถานการณ์

  3. Step 3 (ไม่ใช่สำหรับ PyTorch โดยตรง แต่เป็นแนวคิดเปรียบเทียบ):

    TensorFlow ใช้การ Trace Python Function เป็น Static Graph ในขณะที่ PyTorch สร้างกราฟขณะรัน นี่คือความแตกต่างหลัก

  4. Step 4: During backpropagation, PyTorch traverses its tape in reverse, calling each Function’s backward method to compute gradients using chain rule

    เมื่อถึงขั้นตอน Backpropagation (การปรับปรุงน้ำหนักโมเดล) PyTorch จะย้อนกลับตาม “เทป” ที่บันทึกไว้ จากเอาต์พุตไปยังอินพุต เรียกใช้เมธอด .backward() ของแต่ละ Function Node เพื่อคำนวณ Gradient โดยใช้กฎลูกโซ่ (Chain Rule) โดยอัตโนมัติ

    
# ทำการคำนวณ Backpropagation
z.backward()

# ดู Gradient ของ x
print(f"Gradient of x: {x.grad}")

    ผลลัพธ์: Gradient ของ x จะเป็น tensor([2., 2., 2.]) เพราะ z = sum(x*2) ดังนั้น dz/dx = 2

  5. Step 6 (เฉพาะ PyTorch): PyTorch’s ATen library dispatches operations to backend kernels, selecting CPU, CUDA, or MPS implementations based on tensor device property

    ไลบรารี ATen ของ PyTorch จะทำหน้าที่เลือกและส่งคำสั่งการคำนวณไปยังเคอร์เนลแบ็คเอนด์ที่เหมาะสม ไม่ว่าจะเป็น CPU, NVIDIA CUDA (สำหรับ GPU) หรือ Apple Metal Performance Shaders (MPS) โดยขึ้นอยู่กับว่า Tensor นั้นถูกกำหนดให้อยู่บน Device ใด ทำให้ PyTorch สามารถทำงานบนฮาร์ดแวร์ที่หลากหลายได้อย่างมีประสิทธิภาพ

TensorFlow: กราฟคงที่ (Static Graph – Define-and-Run)

TensorFlow แต่เดิมถูกออกแบบมาด้วยแนวคิด “Define-and-Run” หรือกราฟคงที่ (Static Graph) ที่ต้องนิยามกราฟทั้งหมดก่อนจึงจะสามารถรันได้ ซึ่งมีข้อดีในเรื่องประสิทธิภาพและการ Deploy ในสภาพแวดล้อมการผลิต อย่างไรก็ตาม ใน TensorFlow 2.x ได้นำเสนอ Eager Execution ซึ่งทำให้ TensorFlow มีความยืดหยุ่นคล้าย PyTorch มากขึ้น แต่ยังคงสามารถคอมไพล์เป็นกราฟคงที่ได้เมื่อจำเป็น

ขั้นตอนการสร้างกราฟ TensorFlow:

  1. Step 1: Developer writes forward pass code defining neural network layers and operations in Python using framework API

    เช่นเดียวกับ PyTorch นักพัฒนาจะเริ่มต้นด้วยการเขียนโค้ดสำหรับ Forward Pass แต่ใน TensorFlow 2.x เราจะใช้ Eager Execution เป็นค่าเริ่มต้น ซึ่งทำให้รู้สึกเหมือนกับการเขียน Python ทั่วไป

    
import tensorflow as tf

# สร้าง Tensor อินพุตที่ต้องการคำนวณ gradient
x = tf.constant([1.0, 2.0, 3.0])
print(f"Input Tensor x: {x}")

# กำหนด operations
y = x * 2
z = tf.reduce_sum(y)

print(f"Intermediate Tensor y (x*2): {y}")
print(f"Output Tensor z (sum of y): {z}")
  2. Step 3: TensorFlow traces Python functions into static graphs by recording tf.function calls, converting them to FuncGraph objects with fixed topology

    หัวใจสำคัญของ TensorFlow 2.x คือ tf.function ฟังก์ชันนี้จะ “Trace” การทำงานของโค้ด Python และแปลงมันให้เป็นกราฟคงที่ (FuncGraph object) ที่มีโครงสร้างตายตัว การทำเช่นนี้ทำให้ TensorFlow สามารถ Optimize การทำงานได้ดีขึ้น เหมือนกับการคอมไพล์โค้ด Python ให้เป็นรหัสเครื่องที่มีประสิทธิภาพ

    
# สร้างฟังก์ชันที่ต้องการ trace เป็น static graph
@tf.function
def compute_graph(x_input):
    y_output = x_input * 2
    z_output = tf.reduce_sum(y_output)
    return z_output

# เรียกใช้ฟังก์ชันที่ถูก trace
x_tf = tf.constant([1.0, 2.0, 3.0])
z_tf = compute_graph(x_tf)
print(f"Output from tf.function: {z_tf}")
  3. Step 5: TensorFlow’s gradient tape records forward operations in GradientTape context, then uses tf.gradients to symbolically differentiate the static graph

    สำหรับการคำนวณ Gradient ใน TensorFlow เราจะใช้ tf.GradientTape มันจะ “บันทึก” การทำงานทั้งหมดที่เกิดขึ้นภายในบริบทของ Tape และเมื่อต้องการ Gradient ก็จะใช้ข้อมูลที่บันทึกไว้นี้ในการหาอนุพันธ์ ซึ่งสามารถทำได้ทั้งใน Eager Execution และใน Static Graph ที่สร้างด้วย tf.function

    
# คำนวณ gradient ด้วย tf.GradientTape
with tf.GradientTape() as tape:
    tape.watch(x_tf) # บอก tape ให้ track x_tf
    y_tf = x_tf * 2
    z_tf_grad = tf.reduce_sum(y_tf)

gradients = tape.gradient(z_tf_grad, x_tf)
print(f"Gradient of x_tf: {gradients}")

    ผลลัพธ์: Gradient ของ x_tf จะเป็น tf.Tensor([2. 2. 2.], shape=(3,), dtype=float32)

    หากคุณสนใจในรายละเอียดการเรียนรู้ของโมเดล Deep Learning เพิ่มเติม สามารถศึกษาได้จากบทความ โมเดล Deep Learning เรียนรู้จากข้อมูลได้อย่างไร

  4. Step 7: TensorFlow’s Grappler optimizer applies 12 graph transformation passes including constant folding, layout optimization, and arithmetic simplification before execution

    หลังจากที่ TensorFlow สร้าง Static Graph ด้วย tf.function แล้ว Grappler optimizer ซึ่งเป็นตัวเพิ่มประสิทธิภาพกราฟ จะเข้ามามีบทบาท โดยจะทำการแปลงกราฟถึง 12 แบบ รวมถึงการพับค่าคงที่ (constant folding) การปรับโครงสร้าง (layout optimization) และการลดรูปทางคณิตศาสตร์ (arithmetic simplification) เพื่อให้กราฟมีประสิทธิภาพสูงสุดก่อนที่จะเริ่มการทำงานจริง

    Google’s TPU v4 chips contain 128MB of HBM memory per core optimized specifically for TensorFlow’s static graph execution, achieving 275 teraflops for 16-bit operations. นี่แสดงให้เห็นถึงการลงทุนของ Google ในการเพิ่มประสิทธิภาพ Hardware สำหรับ TensorFlow

  5. Step 8: Both frameworks execute optimized operations on hardware, with PyTorch using immediate execution and TensorFlow optionally caching compiled graphs for reuse

    ทั้ง PyTorch และ TensorFlow ต่างก็ส่งมอบการคำนวณที่เหมาะสมที่สุดไปยังฮาร์ดแวร์ แต่ด้วยวิธีที่ต่างกัน PyTorch รันคำสั่งทันที (Eager Execution) ในขณะที่ TensorFlow สามารถแคชกราฟที่คอมไพล์ไว้เพื่อนำกลับมาใช้ใหม่ได้ ซึ่งเป็นประโยชน์อย่างยิ่งสำหรับการ Deploy และการทำงานที่มีรอบการประมวลผลซ้ำๆ

เปรียบเทียบจุดเด่นและจุดด้อย

PyTorch

📺 YouTube📘 Facebook✕