historyBölüm 1·Tarih & İlham
Vaswani ve ekibinin RNN'i ortadan kaldıran transformer makalesi
Öğrenci için: mekanizma, temel formül, kod ve quiz.· 7 / 8 bölüm
30 saniyede özet · Ne öğreneceksin
ImageNet görüntüyü çözdü; sıra dildeydi. 'Attention is All You Need' — Vaswani ve ekibinin 2017 makalesi NLP'yi kökten değiştirdi. RNN ve LSTM'i tamamen dışarıda bırakan Transformer mimarisi hem daha hızlı hem daha iyi sonuç veriyordu — ve bugünkü tüm büyük dil modellerinin temeli oldu.
RNN'in sorunu: Sıralı işlem zorunluluğu — paralel hesap mümkün değil; uzun dizilerde grady…
Orijinal Transformer makine çevirisi için tasarlandı:
2017 makalenin sekiz yazarından altısı Google'dan ayrılıp ya kendi şirketini kurdu ya başka yere geçti. İronik biçimde Google Transformer'ı icat etti ama teknolojiyi en iyi ticarileştirenler başkaları (OpenAI, Anthropic, Meta) oldu.
Transformer'ın RNN'e kıyasla temel hesaplama avantajı nedir?
Bu makale, GPT çağının doğrudan kıvılcımıdır: aynı decoder-only Transformer, ölçeklendiğinde 'GPT' oldu. Sıradaki durak, bu ölçeğin nasıl bir sıçramaya dönüştüğü.
Daha derinlemesine