Sunucuların hafif uğultusu, Silikon Vadisi’nin son altın hücumunun yeni film müziği ve bu kez madenciler, işlem gücünü modası geçmiş gibi çiğneyen algoritmalar çalıştırıyor.
Uzun yıllar boyunca yapay zeka modellerini daha ‘akıllı’ hale getirmenin formülü basitti: eğitim sırasında daha fazla parametre yüklemek. Bunu, bir öğrencinin çantasına daha fazla ders kitabı doldurmak gibi düşünün. Ancak en yeni nesil amiral gemileri – fütüristik GPT 5.5’ler ve gizemli o1 serisi hakkında konuşuyoruz – oyunu değiştirdi. Sadece daha büyük değiller; attığınız her soruya daha sert düşünüyorlar ve işte gerçek para, daha doğrusu gerçek fatura burada ortaya çıkıyor.
Bu süslü yeni numara çıkarım ölçeklendirme, daha yaygın adıyla test zamanı hesaplaması olarak adlandırılıyor. Fikir şu ki, model dijital beyninden tek geçişte bir yanıt vermek yerine, kendi mantığını kontrol etmek için ek işlem gücü kullanıyor. Tekrarlıyor, iyileştiriyor, temelde en iyi olası yanıt olduğuna karar verene kadar kendiyle nazik bir tartışma yürütüyor. Ürün ekipleri için bu basit bir açma-kapama düğmesi değil. Bu, yüksek riskli bir operasyonel karar, daha iyi bir yanıtın aylık bulut faturanızın önemli bir kısmını maliyetlendirebileceği bir denge eylemi.
Gördüğünüz gibi, sohbet botunuz iç monologuna dalmışken – ‘gizli akıl yürütme token’ları’ üretiyorlar – bu token’lar sohbet balonunuza ulaşmıyor. Hayır. Bunlar saf hesaplama maliyeti, kimsenin görmediği ama herkesin ödediği faturanızdaki sessiz bir artış.
Büyük Hesaplama Muhasebesi: Yapay Zeka Faturanız Neden Patlıyor?
Bu yeni araziyi yönetmek, her zaman ki Maliyet-Kalite-Gecikme üçgeniyle güreşmek anlamına gelir. Bu, finansçıdan mühendise kadar herkesi hizaya sokması gereken mantradır. Finans departmanı daralan marjlara bakıyor çünkü üretilen her görünür veya gizli token’ın bir fiyat etiketi var. Altyapı guruları p95 gecikmesi için ter döküyor – bu isteklerin en yavaş %5’i – modelin ‘düşünmesi’ için o kadar uzun sürmemesini umuyorlar ki tüm sistemleri yavaşlasın. Ürün yöneticileri Süleyman gibi davranıyor, marjinal olarak daha iyi bir yanıtın, kullanıcı için sonsuzluk gibi gelen otuz saniyelik bir duraklamaya değip değmeyeceğine karar veriyorlar. Ve risk ekiplerini unutmayalım, bu iç değerlendirmelerin aslında güvenlik kontrollerini engellemek yerine atlatmasına yardımcı olup olmayacağını anlamaya çalışıyorlar.
Peki, büyük strateji ne? Görünüşe göre kategorizasyonla ilgili. Görevleri ‘kullan’, ‘belki’ ve ‘kaçın’ kutularına atmak. Basit şeyler mi? Tamam, ucuz, hızlı modelleri kullanalım. Derin düşünce gerektiren yüksek riskli bir mantık bulmacası mı? İşte orada büyük topları ateşliyorsunuz, biraz daha zaman – ve çok daha fazla hesaplama – harcamaya istekli modelleri. Ama ‘doğru’ öznel bir terim, değil mi?
Çıkarım Ölçeklendirme: Nedir ve Neden Maliyetlidir?
Geleneksel olarak, bir yapay zeka modelini daha akıllı hale getirmek eğitim zamanı işiydi. Milyonlarca GPU harcardınız, ne kadar akıllıysa o kadar akıllı olacak statik bir sinir ağı üretirdiniz. Ancak çıkarım ölçeklendirme, bu devasa kaynak tahsisini dağıtım öncesi aşamadan, tam olarak üretim anına kaydırır. Her sorgu için ağ üzerinden tek, öngörülebilir bir geçiş yerine, model şimdi tekrarlayan akıl yürütme döngülerine girer. Bu, bir matematikçiden sadece bir denklemi çözmesini değil, aynı zamanda düşünce sürecini açıklayan kısa bir deneme yazmasını istemek gibidir – ve yalnızca yanıtı isteseniz bile deneme için ödeme yapmanız gerekir.
Bu ‘düşünme’, düşünce zinciri dedikleri şey aracılığıyla gerçekleşir ve bu da birkaç önemli bileşeni içerir:
Bölümleme: Karmaşık, çok adımlı sorunları daha küçük, yönetilebilir mantık parçalarına ayırma. Kendi Kendini Düzeltme: Modelin kendi hatalarını aktif olarak tanımlaması ve son çıktıyı görmeden önce bunları düzeltmek için geri dönmesi. Stratejik Seçim: Dahili olarak birden fazla potansiyel yanıt üretme, bunları puanlama ve ardından ‘en iyisini’ seçme. On pizza sipariş edip sadece yenilebilir olanı için ödeme yaptığınızı hayal edin.
Sonuç, istem başına yüksek derecede uyarlanabilir bir harcamadır. Bir e-postayı özetlemek gibi basit bir istek mi? Ucuz ve hızlı, çünkü model derin düşünce gerektirmediğini çabucak tanımlar. Ancak dağıtılmış bir sistem için mimari inceleme gibi karmaşık bir sorgu mu? İşte hesaplama bütçesinin ciddi şekilde çalıştığı yer burasıdır. Model, kendi akıl yürütmesini iki kez kontrol etmek için saatlerce – ve saatlerce – binlerce token üreterek harcayabilir. Şüphesiz büyüleyici bir teknoloji, ancak büyüleyici olması elektrik faturasını ödemez.
Ve net olalım: bu sihirli bir değnek değil. Çıkarım ölçeklendirme, yetersiz eğitim verilerini sihirli bir şekilde düzeltmez. Temel verileri kusurluysa, bir model mantık bulmacası aracılığıyla akıl yürütüp hala önyargılı veya olgusal olarak yanlış çöpler üretebilir. Bir güvenlik katmanı da değildir; temel model sorunluysa, en gelişmiş iç akıl yürütme bile zararlı çıktılara yol açabilir. Araştırmalar bunun hakkında oldukça nettir: performans hesaplamayla ölçeklense de, modeller hala tanıdık eğitim bölgelerinin dışındaki sorunlarda tıkanır.
İşte göstermek için kullanışlı (ve faturayı ödeyen sizseniz korkutucu) bir tablo:
| Özellik | Eğitim Zamanı Ölçeklendirme | Çıkarım Zamanı Ölçeklendirme |
|---|---|---|
| Yatırım Zamanlaması | Dağıtım öncesi aşama | Üretim anı |
| Operasyonel Mantık | Ağ üzerinden tek ileri geçiş | Tekrarlayan akıl yürütme döngüleri ve kendi kendini düzeltme |
| Model Zekası | Eğitim bittikten sonra statik | İstem karmaşıklığına göre dinamik |
| Ölçeklenebilirlik Kancası | Yeni bir model sürümü gerektirir | Düşünme süresini artırarak ölçeklenir |
Neden Üretimde Fatura Patlıyor?
Apple Makine Öğrenmesi Araştırmaları tehlikeli bir eğilime dikkat çekti. Modeller daha fazla ‘düşünmeye’ başladığında, GPU belleğini daha uzun süreler boyunca işgal ettiklerini belirtiyorlar. Bu sadece küçük bir rahatsızlık değil; sistem eşzamanlılığını doğrudan etkiler. Aynı donanım tarafından daha az kullanıcıya hizmet verilebilir, bu da şirketleri ya daha pahalı GPU’lar satın almaya ya da erişimi ciddi şekilde sınırlamaya zorlar – büyüme için ikisi de harika değil.
Peki ya Maliyet-Kalite-Gecikme üçgeni? Lastiğin yola değdiği yer, daha doğrusu bütçenin gerçeklikle buluştuğu yer burasıdır. Her köşeyi tanımlamak acımasız dürüstlük gerektirir:
Maliyet: Artık sadece çıktı token’ları hakkında değil. Gizli akıl yürütme token’ları, yeniden denemeler, GPU süresi. Bir modelin bir GPU’yu ne kadar uzun süre meşgul etmesi, şirketin o donanımdan o kadar az para kazanması anlamına gelir.
Kalite: Görev başarı oranları ve en önemlisi halüsinasyonlar için kusur oranlarıyla ölçülür. Olgu kontrolleri ve puanlama cetvelleri anahtar hale gelir. Modelin ‘düşüncesinin’ gerçekten daha iyi, daha doğru bir sonuca yol açıp açmadığını objektif olarak derecelendirmenin bir yoluna ihtiyacınız var.
Gecikme: P50 (medyan yanıt süresi) tipik deneyimi anlamak için iyidir, ancak P95 gerçek canavardır. O en yavaş %5’lik istekler – modelin felsefi bir tanjantta kaybolduğu istekler – zaman aşımlarını tetikleyebilir ve tüm uygulamanızın bozuk gibi hissetmesine neden olabilir.
Bu nedenle, bir sohbet botu hızı (düşük gecikme) önceliklendirebilir ve biraz daha az doğru bir yanıt riskini kabul edebilir. Ancak mimari planlama için tasarlanmış bir sistem mi? Bu kalite-kritik olmalı, çıktının sağlam olmasını sağlamak için daha uzun gecikmeleri ve daha yüksek token harcamasını kabul etmeli. Bu bir takastır, sürekli bir müzakeredir ve faturaları ödeyen herkes için sürekli bir baş ağrısıdır.
Bu çıkarım ölçeklendirmeye geçiş, teknolojik bir harikadan çok, yapay zekayı nasıl işlettiğimizde temel bir değişikliktir. Teorik model parlaklığının, üretimin soğuk, sert gerçekliğiyle buluştuğu andır. Ve şu anda, bu gerçeklik çok, çok pahalı görünüyor.
PR süslemeleri hakkındaki ‘daha akıllı yapay zeka’ hakkındaki şeylerin ötesinde beni rahatsız eden bir soru var: Gerçekten kim fayda sağlıyor? Biraz daha iyi bir yanıtı potansiyel olarak daha uzun bir bekleme süresiyle alan son kullanıcı değil. Artık daha karmaşık takasları dengeleyen ürün yöneticisi değil. Birincil faydalanıcıların altyapı sağlayıcıları ve elbette bu giderek daha aç modelleri satan şirketler olduğu hissi veriyor. Temelde daha derin düşünce yanılsaması için prim ödüyoruz, hızla norm haline gelen lüks bir hesaplama.
