OpenAI, 29 Eylül’deki geliştirici gününde tanıttığı ve bir süredir herkese açık beta olarak sunduğu Decisions API’yi genel kullanıma açtı. Servis, uygulamaların ve yapay zekâ ajanlarının iş akışları boyunca verdiği çok sayıda küçük kararı, yani bir girdiyi sınıflandırmayı, bir isteği doğru yere yönlendirmeyi ya da sıradaki adımı seçmeyi hızlı ve ucuz hâle getirmeyi amaçlıyor.
Decisions API ne yapıyor?
OpenAI’a göre bu kararlar tek tek bakıldığında basit, ancak ölçek büyüdükçe gecikme ve maliyet hızla birikiyor. Decisions API, GPT-6 Luna modelinin yeteneklerini yanıtı sınırlı olan sorulara odaklıyor. Servis metin, görsel ve yapılandırılmış (JSON) girdilerden yola çıkarak bir koşulun doğru olma olasılığını, önceden belirlenmiş seçeneklerden birini ya da bir puanı döndürebiliyor. Şirket, bu sayede kararların GPT-6 Luna’yı Responses API üzerinden çağırmaya göre 10 kata kadar hızlı verilebildiğini söylüyor.
Beta sürecinden bu yana neler değişti?
- Bir istekte sorulabilecek soru sayısı 200’den 400’e çıkarıldı.
- Gerçek zamanlı ses ürünü GPT-Live ile yerleşik entegrasyon eklendi.
- Tekrar kullanılan bağlam için istem önbelleğe alma (prompt caching) desteği geldi.
- Çıkarım işlemlerinin ABD ve AB’de tutulması seçeneği sunuldu.
- Soru talimatlarına görsel eklenebiliyor, yerel JSON girdileri kullanılabiliyor.
- Asya’daki bazı bölgelere ek kapasite eklenerek gecikme düşürüldü.
Fiyatlandırma
Yayımlanan bilgilere göre önbelleğe alınmamış girdi için milyon token başına 0,10 dolar, önbellekten okunan girdi için milyon token başına 0,01 dolar ödeniyor. Önbelleğe yazma ayrıca ücretlendiriliyor; çıktı token’ları ise ücretsiz. API, şimdilik yalnızca GPT-6 Luna modelini destekliyor ve OpenAI platformunun deneme ortamında da test edilebiliyor.
Müşteriler ne diyor?
İlk denemelere katılan şirketler arasında Box, Datadog, Ramp ve Speak bulunuyor. Yapay zekâ destekli dil öğretmenleri geliştiren Speak’in teknoloji direktörü Andrew Hsu, Decisions API sayesinde iki eylem arasındaki sürenin 1,4 saniyeden 0,13 saniyeye indiğini aktardı. OpenAI de kendi sesli asistanı Dots’un tepki süresini iyileştirmek için bu ürünü kullandığını belirtiyor.
“Karar modelleri” yarışı kızışıyor
Bu hamle, son dönemde hızla büyüyen yeni bir kategoriye işaret ediyor. Bir dizi seçenek verildiğinde hızlıca seçim yapan ve kararına bir güven puanı ekleyen bu “süper sınıflandırıcı” modellerin öncülerinden biri, OpenAI’ın eski bir araştırmacısının kurduğu ve 7,6 milyar dolar değerlemeye ulaşan TypeSafe şirketinin Jev modeli. Geliştiriciler bu tür modellerin birçok iş akışında büyük dil modellerinin yerini daha hızlı ve çok daha düşük maliyetle alabildiğini keşfetti. Basına yansıyan değerlendirmelere göre, iki açık karar modeli kıyaslamasında rakip modeller OpenAI’ın çözümünden daha üst sıralarda yer alıyor.
Bu gelişme neden önemli?
Yapay zekâ ajanlarının yaygınlaşmasıyla birlikte, sistemlerin saniyede çok sayıda küçük karar vermesi gerekiyor. Her biri için büyük ve pahalı bir dil modelini çağırmak hem yavaş hem maliyetli. Decisions API gibi araçlar, “her işe en büyük model” yaklaşımı yerine işe uygun modeli seçme dönemine geçildiğini gösteriyor. Kullanıcılar açısından ise şu soruyu sormak önemli: Bir uygulama bizim adımıza otomatik bir karar verdiğinde, bu kararın hangi güven düzeyiyle ve hangi ölçütlere göre verildiğini görebiliyor muyuz?
Kaynak: OpenAI, TechCrunch
