📖 Tarih & İlhamileri⏱ 12 dk

Hopfield Ağları ve Boltzmann Makineleri

Bellek ve enerji bazlı modeller — modern AI'nin öncüleri

Önce bunlara göz at

🎯

30 saniyede özet · Ne öğreneceksin

→Hopfield ağının çağrışımsal bellek mekanizmasını anlamak
→Enerji fonksiyonu ve atraktör dinamiğini kavramak
→Modern deep learning ile tarihsel bağlantıları kurmak

⏱ 12 dk okuma·ileri

2024 Nobel Fizik Ödülü, yapay zekâ tarihinin en beklenmedik onuru oldu. John Hopfield ve Geoffrey Hinton, 1980'lerde geliştirdikleri enerji tabanlı öğrenme modelleriyle modern derin öğrenmenin temellerini attılar — ve fizik Nobel'i kazandılar.

Hopfield, nöral ağları manyetik malzemeler gibi modelledi. Nasıl bir mıknatıs en düşük ene…

⛰️Enerji Vadileri

Bir enerji yüzeyinde yuvarlanıp en derin çukura yerleşen bir bilye düşünün. Her çukur bir hafıza örüntüsüdür. Bozuk girdi bilyeyi yamaçta bırakır — ağ onu en yakın vadiye yuvarlar ve orijinal anıyı geri getirir.

E = -½ Σᵢⱼ wᵢⱼ sᵢ sⱼ

Hopfield enerji fonksiyonu: wᵢⱼ bağlantı ağırlıkları, sᵢ nöron durumları (±1). Ağ bu enerjiyi minimize ederek kararlı duruma ulaşır.

ℹ️Hopfield, Princeton'da fizikçiydi. İstatistik mekanikten 'spin camı' (spin glass) modelini nöral ağlara uyarladı — bu yüzden Nobel Fizik!

Hinton ve Sejnowski, Hopfield ağına rastgelelik ve gizli birimler ekledi. Nöronlar artık d…

P(sᵢ=1) = σ(Σⱼ wᵢⱼ sⱼ / T)

Boltzmann dağılımı: T sıcaklık parametresi. Yüksek T = daha rastgele, düşük T = daha deterministik. Simüle tavlama (simulated annealing) ile öğrenim.

Tam bağlı Boltzmann makinesi eğitmesi çok yavaştı. RBM'de aynı katmandaki nöronlar birbiri…

Hopfield (Deterministik)

·Enerji minimizasyonu
·Asosyatif bellek
·Gizli birim yok
·Kapasite: ~0.14N örüntü

Boltzmann (Stokastik)

·Olasılıksal örnekleme
·Generatif model
·Gizli birimlerle öğrenim
·Termal denge gerekli

Ramsauer ve ekibi Hopfield ağlarını yeniden keşfetti! Enerji fonksiyonunu değiştirerek kap…

💡Attention mekanizmasını anlamakta zorlanıyorsanız, onu bir Hopfield ağı gibi düşünün: query bozuk girdi, key'ler hafıza örüntüleri, çıktı en yakın eşleşmeye 'düşme'.

Nobel Komitesi ödülü 'yapay sinir ağlarıyla makine öğrenimini mümkün kılan temel buluşlar'…

⚠️Hinton, ödülü aldıktan sonra yapay zekânın varoluşsal riskleri konusunda uyardı. 'Godfather of AI' artık kendi yarattığı teknolojiden endişeli.

✦ Quiz

Hopfield ağının temel çalışma prensibi nedir?

✦ Quiz

RBM'in (Restricted Boltzmann Machine) 'kısıtlı' olmasının sebebi nedir?

✦ Quiz

Modern Hopfield Networks (2020) ile Transformer attention arasındaki ilişki nedir?

Daha derinlemesine