การเชื่อมโยง Deep Learning กับ Differential

วันนี้ผมจะพาคุณเจาะลึกเข้าไปในโลกที่ “แคลคูลัส” มาบรรจบกับ “ปัญญาประดิษฐ์” แบบเนื้อๆ เน้นๆ เหมือนเรามานั่งแลกเปลี่ยนไอเดียกันในห้องพักครูนะครับ

ลองลืมภาพจำว่า Deep Learning (DL) คือกล่องดำ (Black Box) ไปสักพัก แล้วลองมองมันผ่านเลนส์ของ Differential Equations (DEs) ดูครับ คุณจะพบว่าแท้จริงแล้ว โครงสร้างของ Neural Network หลายตัวที่เราใช้กันอยู่ มันคือการแก้สมการเชิงอนุพันธ์ดีๆ นี่เอง

1. จุดเริ่มต้น: จาก ResNet สู่ Euler Method

ถ้าเราพิจารณาสถาปัตยกรรมของ Residual Networks (ResNet) ที่โด่งดัง ความสัมพันธ์ของ Hidden State ในแต่ละ Layer มักจะเขียนได้ในรูป:

h_{t+1} = h_t + f(h_t, \theta_t)

โดยที่ $h_t$ คือค่าใน Layer ปัจจุบัน และ $f$ คือฟังก์ชัน (Neural Network) ที่เรียนรู้ส่วนต่าง (Residual)

ลองสังเกตดีๆ นะครับ สมการนี้มันหน้าตาเหมือนอะไร? ใช่ครับ มันคือ Euler Method ที่เราใช้หาคำตอบเชิงตัวเลขของสมการเชิงอนุพันธ์สามัญ (ODE) นั่นเอง:

x(t + \Delta t) \approx x(t) + \Delta t \cdot f(x(t), t)

ถ้าเรามองว่าระยะห่างระหว่าง Layer ( $\Delta t$ ) มีค่าเข้าใกล้ศูนย์ สิ่งที่เกิดขึ้นคือ Neural Network ของเราจะไม่ได้ทำงานเป็น “ชั้น” (Discrete Layers) อีกต่อไป แต่จะกลายเป็น “กระบวนการที่ต่อเนื่อง” (Continuous Flow)

2. Neural Ordinary Differential Equations (Neural ODEs)

นี่คือจุดเปลี่ยนสำคัญครับ ในปี 2018 ทีมวิจัยจาก University of Toronto ได้นำเสนอแนวคิด Neural ODEs แทนที่เราจะกำหนดจำนวน Layer ตายตัว (เช่น 50 ชั้น หรือ 100 ชั้น) เรากำหนดให้การเปลี่ยนแปลงของสถานะเป็นไปตามสมการ:

\frac{dh(t)}{dt} = f(h(t), t, \theta)

ความเจ๋งของมันคืออะไร?

Layer-less: เราไม่ต้องระบุจำนวน Layer อีกต่อไป แต่เราระบุ “ความแม่นยำ” ที่ต้องการ แล้วให้ ODE Solver (เช่น Runge-Kutta) จัดการหาค่า $h(T)$ ที่ปลายทางเอง
Memory Efficiency: ในการทำ Backpropagation แบบปกติ เราต้องเก็บค่าในทุก Layer ไว้เพื่อคำนวณ Gradient แต่ใน Neural ODEs เราใช้เทคนิค Adjoint Sensitivity Method ซึ่งช่วยให้เราคำนวณ Gradient ได้โดยไม่ต้องเก็บสถานะระหว่างทาง ทำให้ประหยัดหน่วยความจำมหาศาล

3. Physics-Informed Neural Networks (PINNs): เมื่อ AI ต้องเคารพกฎฟิสิกส์

ในฐานะอาจารย์คณิตศาสตร์ เราทราบดีว่าปรากฏการณ์ในธรรมชาติมักถูกอธิบายด้วย Partial Differential Equations (PDEs) เช่น สมการการนำความร้อน หรือ Navier-Stokes

ปัญหาของ Deep Learning ทั่วไปคือ มัน “เดา” เก่งแต่ “ไม่รู้กฎ” ถ้าเราให้มันทำนายการไหลของน้ำ มันอาจจะให้ผลลัพธ์ที่ผิดกฎการอนุรักษ์มวลก็ได้

PINNs จึงถูกสร้างขึ้นมาเพื่อแก้ปัญหานี้ โดยการใส่ “สมการเชิงอนุพันธ์” เข้าไปใน Loss Function:

Loss = Loss_{Data} + Loss_{Physics}

Loss Data: ความผิดพลาดจากการเทียบกับข้อมูลจริง
Loss Physics: ความผิดพลาดที่เกิดขึ้นเมื่อผลลัพธ์ของโมเดลไม่สอดคล้องกับสมการ DEs ที่เรากำหนด

วิธีนี้ทำให้ AI ของเราไม่ได้เรียนรู้แค่จากข้อมูล (Data-driven) เท่านั้น แต่ยังเรียนรู้จากความรู้ทางวิทยาศาสตร์ (Knowledge-driven) อีกด้วย

4. ทำไมการเชื่อมโยงนี้ถึงสำคัญ?

Interpretability: ทำให้เราอธิบายได้ว่าสิ่งที่ Neural Network ทำข้างในนั้น สอดคล้องกับพลศาสตร์ (Dynamics) อย่างไร
Irregularly-sampled Data: ในวิชา Numerical Analysis เราเจอปัญหาข้อมูลที่มาไม่สม่ำเสมอ Neural ODEs จัดการเรื่องนี้ได้ดีมากเพราะมันมองทุกอย่างเป็นความต่อเนื่อง
Scientific Discovery: เราสามารถใช้ AI ช่วยค้นหา “สมการ” (System Identification) ที่ซ่อนอยู่ในข้อมูลดิบได้ โดยการให้มันพยายามฟิตฟังก์ชัน $f$ ใน $dx/dt = f(x)$

สรุปสำหรับเพื่อนร่วมวิชาชีพ

การเชื่อมโยง Deep Learning กับ Differential Equations ไม่ใช่แค่เทรนด์ใหม่ แต่มันคือการกลับไปหา “รากเหง้า” ของคณิตศาสตร์เพื่อทำให้ AI ฉลาดและสมเหตุสมผลขึ้นครับ จากเดิมที่เรามอง Neural Network เป็นแค่การคูณเมทริกซ์ซ้อนๆ กัน วันนี้เรากำลังมองมันเป็น Dynamical System ที่เคลื่อนที่ไปตามกาลเวลา

หากคุณกำลังสนใจจะทำวิจัยต่อยอด ผมมองว่าหัวข้อ “การใช้ PINNs ในการแก้ปัญหา Boundary Value Problems ในมิติสูง” หรือการประยุกต์ใช้กับ Image Processing (ที่คุณสนใจอยู่) เช่น การใช้ DiffEq มาทำ Image Denoising ก็น่าสนใจมากครับ