Vaswani ve ekibinin RNN'i ortadan kaldıran transformer makalesi
'Attention is All You Need' — Vaswani ve ekibinin 2017'deki bu makalesi, NLP araştırmalarını kökten değiştirdi. RNN ve LSTM'i tamamen dışarıda bırakan transformer mimarisi, hem daha hızlı hem daha iyi sonuçlar veriyordu.
**RNN'in sorunu:** Sıralı işlem zorunluluğu — paralel hesaplama mümkün değil. Uzun diziler…
Orijinal transformer makine çevirisi için tasarlandı:…
ℹ️2017 makalenin sekiz yazarından altısı Google'dan ayrılarak ya kendi şirketlerini kurdu ya başka yerlere geçti. İronik biçimde, Google transformer'ı icat etti ama bu teknolojiyi en iyi monetize eden başkaları (OpenAI, Anthropic, Meta) oldu.
✦ Quiz
Transformer'ın RNN'e kıyasla temel hesaplama avantajı nedir?
Bağlantılı Konular