Page 200 - python

174

ภาพประกอบที่ 12.12 แสดงการหาคาต่ําสุดของ loss function ดวยการหาอนุพันธ


ในนิวรอนเน็ตเวอรคตองใชการแกสมการหลายตัวแปร ในป ค.ศ. 1944 ไดมีการนําเสนอวิธีแก 
ุ
สมการหลายตัวแปรดวยวิธี Gradient Descent โดยใชวิธีการเคลื่อนที่ตามพื้นผิวลงสูจดต่ําสุด ดังภาพ
ตอไปนี้

ภาพประกอบที่ 12.13 แสดงการหาคาต่ําสุดของสมการหลายตัวแปรดวยวิธี Gradient Descent
ที่มา: https://www.researchgate.net

วิธีการทํางานของ Gradient Descent คือ การสุมคาตําแหนงใด ๆ บนพื้นผิวจากนั้น คํานวณ
ความชันรอบจุดนั้น เลือกทิศทางที่มีความชันมากที่สุด และกาวไปยังตําแหนงใหม จากนั้นทําซ้ํา ๆ จน

ึ
สุดทายจะมาถงจุดต่ําสุดของสมการ ซึ่งคือจุดที่ทําใหโมเดลมีคาความผิดพลาดนอยที่สุด โดยหลุมที่ตื้น
เรียกวา Local minima และหลุมที่อยูลึกสุดเรียกวา global minima