Bellek ve enerji bazlı modeller — modern AI'nin öncüleri
2024 Nobel Fizik Ödülü, yapay zekâ tarihinin en beklenmedik onuru oldu. John Hopfield ve Geoffrey Hinton, 1980'lerde geliştirdikleri enerji tabanlı öğrenme modelleriyle modern derin öğrenmenin temellerini attılar — ve fizik Nobel'i kazandılar.
Hopfield, nöral ağları **manyetik malzemeler** gibi modelledi. Nasıl bir mıknatıs en düşük…
⛰️Enerji Vadileri
Bir enerji yüzeyinde yuvarlanıp en derin çukura yerleşen bir bilye düşünün. Her çukur bir hafıza örüntüsüdür. Bozuk girdi bilyeyi yamaçta bırakır — ağ onu en yakın vadiye yuvarlar ve orijinal anıyı geri getirir.
E = -½ Σᵢⱼ wᵢⱼ sᵢ sⱼHopfield enerji fonksiyonu: wᵢⱼ bağlantı ağırlıkları, sᵢ nöron durumları (±1). Ağ bu enerjiyi minimize ederek kararlı duruma ulaşır.
ℹ️Hopfield, Princeton'da fizikçiydi. İstatistik mekanikten 'spin camı' (spin glass) modelini nöral ağlara uyarladı — bu yüzden Nobel Fizik!
Hinton ve Sejnowski, Hopfield ağına **rastgelelik** ve **gizli birimler** ekledi. Nöronlar…
P(sᵢ=1) = σ(Σⱼ wᵢⱼ sⱼ / T)Boltzmann dağılımı: T sıcaklık parametresi. Yüksek T = daha rastgele, düşük T = daha deterministik. Simüle tavlama (simulated annealing) ile öğrenim.
Tam bağlı Boltzmann makinesi eğitmesi çok yavaştı. RBM'de **aynı katmandaki nöronlar birbi…
Hopfield (Deterministik)
Boltzmann (Stokastik)
Ramsauer ve ekibi Hopfield ağlarını yeniden keşfetti! Enerji fonksiyonunu değiştirerek kap…
💡Attention mekanizmasını anlamakta zorlanıyorsanız, onu bir Hopfield ağı gibi düşünün: query bozuk girdi, key'ler hafıza örüntüleri, çıktı en yakın eşleşmeye 'düşme'.
Nobel Komitesi ödülü 'yapay sinir ağlarıyla makine öğrenimini mümkün kılan temel buluşlar'…
⚠️Hinton, ödülü aldıktan sonra yapay zekânın varoluşsal riskleri konusunda uyardı. 'Godfather of AI' artık kendi yarattığı teknolojiden endişeli.
✦ Quiz
Hopfield ağının temel çalışma prensibi nedir?
✦ Quiz
RBM'in (Restricted Boltzmann Machine) 'kısıtlı' olmasının sebebi nedir?
✦ Quiz
Modern Hopfield Networks (2020) ile Transformer attention arasındaki ilişki nedir?
Bağlantılı Konular