Gizli durum, kapı mekanizmaları ve uzun vadeli bağımlılıklar
Tekrarlayan sinir ağları (RNN), sıralı verileri — metin, ses, zaman serisi — işlemek için tasarlanmıştır. Önceki zaman adımlarındaki bilgiyi 'gizli durum' olarak taşır. Bellek mekanizması sayesinde bağlam duyarlı kararlar verir.
Her zaman adımında RNN iki şey alır: mevcut girişi (xₜ) ve bir önceki adımın gizli durumun…
📖Kitap Okumak Gibi
Bir romanı okurken her kelimeyi anlayabilmek için önceki cümleleri hatırlamanız gerekir. RNN de aynı şekilde, her yeni kelimeyi işlerken önceki kelimelerin özetini gizli durumunda tutar. LSTM, bu özeti çok daha uzun süre koruyabilir.
Standart RNN uzun vadeli bağımlılıkları öğrenemez (vanishing gradient). LSTM bunu üç kapıy…
ℹ️2017'den itibaren Transformer mimarisi birçok dizi modellemesi görevinde RNN/LSTM'i geride bırakmıştır. Ancak RNN'ler düşük gecikmeli, online (streaming) görevlerde hâlâ tercih edilebilir — her adımda tam attention hesaplamak gerekmez.
Bağlantılı Konular