Dikkat Mekanizması Gibbs Dağılımı mı: Şık Bir Matematik Numarası mı Yoksa Transformer Açılımı mı?
Fizikçiler yapay zekâya yine dadandı, dikkat mekanizmalarının gizlice Gibbs dağılımı olduğunu yemin ediyorlar. Kanıt ortada — ama bu derin bir şey mi yoksa sadece olasılıksal şiir mi?
⚡ Key Takeaways
- Dikkat ağırlıkları, sorgu-anahtar benzerliklerinden gelen enerjilerle matematiksel olarak Gibbs dağılımına birebir. 𝕏
- 1980'lerin Boltzmann makineleri gibi enerji tabanlı modellere gönderme — yenilik değil, yeniden keşif. 𝕏
- Abartıdan öte değil: Zarif teori, güncel transformer dağıtımlarında sıfır pratik etki. 𝕏
Worth sharing?
Get the best AI stories of the week in your inbox — no noise, no spam.
Originally reported by Towards AI
Related Stories
AI Research
Toyota Fabrikalarının Hayaletleri Bugünün AI Ajanlarını Peşinde — Çözüm de Onlar
AI Research
DenseNet'in Yoğun Bağlantı Ağı: Derin Öğrenmenin Omurgasını Baştan Kabloluyor
AI Research
Denetimsiz Öğrenme Mülakatları: Uzmanları Bile Zorluyan 20 Soru
AI Research