ReLU, Sigmoid, Tanh — interaktif karşılaştırma
Aktivasyon fonksiyonları olmadan, kaç katman eklersek ekleyelim ağ hâlâ doğrusal bir dönüşüm yapar. Doğrusal olmayan aktivasyonlar, sinir ağlarına gerçek güçlerini veren unsurdur.
İki doğrusal dönüşümün bileşimi yine doğrusal bir dönüşümdür: A₂(A₁x) = (A₂A₁)x. Yani yüzl…
**ReLU (max(0,x)):** Basit, hızlı, derin ağlarda varsayılan seçenek. Negatif girişlerde gr…
⚡ İnteraktif Playground
⚠️Vanishing Gradient: Sigmoid/Tanh doyma bölgelerinde gradyan neredeyse sıfır olur. Geri yayılımda çarpıla çarpıla sıfıra yaklaşır; erken katmanlar öğrenemez. ReLU ve Layer Normalization bu problemi hafifletir.
✦ Quiz
Gizli katmanlar için varsayılan aktivasyon fonksiyonu olarak genellikle ne önerilir?
Bağlantılı Konular