Chain rule, hesap çizgesi ve otomatik türev
Geri yayılım (backpropagation), ağın parametrelerine göre kayıp fonksiyonunun gradyanlarını zincir kuralıyla verimli hesaplayan algoritmadır. Derin öğrenmeyi pratikte mümkün kılan matematiksel tuğladır.
Her matematiksel işlem bir çizge düğümü, ara sonuçlar kenarlardır. İleri geçişte girdiden …
∂L/∂w = (∂L/∂y) · (∂y/∂w)Zincir kuralı: Kayıp L'nin w'ya göre türevi, L'nin ara çıktı y'ye göre türevinin, y'nin w'ya göre türevi ile çarpımıdır. Bu kural tüm katmanlar boyunca tekrar tekrar uygulanır.
**Vanishing:** Gradyanlar geri ilerlerken her katmanda küçük değerlerle çarpılır ve sıfıra…
PyTorch otomatik türev — backprop örneği
import torch
x = torch.tensor([2.0], requires_grad=True)
y = x ** 2 + 3 * x # y = x² + 3x
y.backward() # geri yayılım
print(x.grad) # dy/dx = 2x + 3 = 7ℹ️Modern framework'ler (PyTorch, JAX) otomatik türev (autograd) kullanır. Hesap çizgesini dinamik olarak oluşturur, .backward() çağrısıyla tüm gradyanları hesaplar. Elle türev almak zorunda kalmazsınız.
Bağlantılı Konular