Çinli yapay zekâ şirketi DeepSeek, kendi modellerini üretim ortamında büyük ölçekte çalıştırmak için kullandığı dahili çıkarım (inference) yazılımı DeepInfer’i açık kaynak olarak yayımladı. 20 Ekim 2026’da duyurulan ve GitHub’da paylaşılan yazılım, kullanıcılara ticari kullanım dahil geniş haklar tanıyan Apache 2.0 lisansıyla sunuluyor.
Çıkarım, eğitilmiş bir yapay zekâ modelinin gelen istekleri işleyip yanıt üretmesi anlamına geliyor. DeepInfer de DeepSeek’in hızlı ve düşük maliyetli modeli V4.1-Flash’ın yanıtları büyük ölçekte hızla üretmesini sağlayan sunucu yazılımı. Şirket, gelecekteki DeepSeek modellerine ait kodun da açık kaynak olarak yayımlanacağını belirtiyor.
vLLM tabanlı, özel çekirdeklerle hızlandırılmış
GitHub sayfasına göre DeepInfer başlangıçta büyük ölçüde popüler açık kaynak çıkarım motoru vLLM üzerine inşa edildi; SGLang ve TensorRT-LLM projelerinden de ilham alındı. Yazılımın öne çıkan özellikleri şöyle sıralanıyor:
- Optimize edilmiş çekirdekler: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ve TileLang ile yazılmış özel hesaplama çekirdekleri.
- Paralellik: Dikkat katmanında veri paralelliği, uzman karışımı (MoE) katmanlarında uzman paralelliği ve yük dengeleme.
- Taslak token’larla hızlı üretim: DSpark adlı yöntemle model taslak token’lar üretiyor; güven tahminlerine göre bunların doğrulanması planlanıyor. Böylece metin üretimi hızlanıyor.
- Eş zamansız zamanlama: İşlemci tarafındaki toplu iş planlaması ile çipteki hesaplama üst üste bindirilerek bekleme süresi azaltılıyor.
- Tekrarlanabilir sonuçlar: Toplu işin bileşiminden bağımsız olarak aynı sonuçları veren çıkarım ve aynı girdiye aynı çıktıyı veren deterministik örnekleme (yalnızca Nvidia’da).
- Yapılandırılmış çıktı: Üretimin bir düzenli ifadeye, JSON şemasına ya da dilbilgisi kuralına uymaya zorlanabilmesi.
Nvidia’nın yanında Huawei Ascend desteği
DeepInfer şu an yalnızca DeepSeek-V4.1-Flash modelini destekliyor ve varsayılan olarak Ekim güncellemesi olan V4.1-Flash-1017 sürümünü kullanıyor. Donanım tarafında Nvidia’nın SM100 mimarili GPU’ları ile Huawei’nin Ascend 950 NPU’ları destekleniyor. Çin yapımı yapay zekâ çiplerinin birinci sınıf destek görmesi, ABD’nin ihracat kısıtlamaları gölgesinde Çin’in yerli donanım ekosistemini güçlendirme çabası açısından dikkat çekici.
Yazılım Linux, Python 3.12 ve Nvidia için CUDA 13, Ascend için CANN 9.2 gerektiriyor. DeepSeek’in paylaştığı performans ölçümleri, ön doldurma (prefill) için 4, kod çözme (decode) için 64 SM100 GPU üzerinde yapıldı. Bu rakamlar, yazılımın bireysel kullanıcılardan çok veri merkezi ölçeğinde model sunan kurumlara yönelik olduğunu gösteriyor.
Çıkarım yazılımı neden bu kadar önemli?
Yapay zekâ sektöründe kamuoyunun dikkati çoğunlukla model eğitimine odaklansa da şirketlerin günlük maliyetinin büyük bölümü, milyonlarca kullanıcının isteğine yanıt veren çıkarım altyapısından kaynaklanıyor. Aynı model, iyi optimize edilmiş bir sunucu yazılımıyla aynı donanımda çok daha fazla isteği daha düşük gecikmeyle karşılayabiliyor. Bu nedenle büyük laboratuvarlar çıkarım yazılımlarını genellikle ticari sır olarak saklıyor. DeepSeek’in kendi üretim hizmetini çalıştıran yazılımı açması, açık ağırlıklı modellerle kapalı API’ler arasındaki performans farkını, modeli kendi altyapısında çalıştıran kurumlar lehine daraltabilir. Toplu işten bağımsız ve deterministik çıktı gibi özellikler ise sonuçların tekrarlanabilirliğine önem veren araştırmacılar ve denetim gerektiren kurumsal uygulamalar için ayrıca değerli.
Eksik parçalar da var
DeepSeek, açık kaynak sürümün çevrim dışı çıkarım ve büyük ölçekli sunum için temel özellikleri içerdiğini, ancak eksiksiz bir hizmet için bazı bileşenlerin pakete dahil olmadığını belirtiyor. Bunlar arasında KV önbellek sistemi, ön doldurma ve kod çözme aşamalarının ayrı makinelere dağıtılması ve veri paralel kopyalar arasında yük dengeleme bulunuyor. Şirket, gerekli motor işlevlerinin çoğunun zaten uygulandığını ifade ediyor.
deepseek-recipe: API davranışını birebir kopyalamak
DeepSeek, DeepInfer’in yanında deepseek-recipe adlı ikinci bir bileşen de yayımladı. Rust kütüphaneleri ve Python bağlamalarından oluşan bu araç, farklı biçimlerdeki API isteklerini ortak bir konuşma biçimine dönüştürüyor, konuşmaları DeepSeek modellerine uygun istemlere çeviriyor, token’lara kodluyor ve model çıktısını yeniden ilgili API biçimine dönüştürüyor.
Messages, Chat Completions ve Responses biçimlerindeki istekleri, akış hâlindeki yanıtları, görselleri, düşünme modunu, araç çağrılarını ve yapılandırılmış çıktıyı destekleyen bileşenin amacı, kendi sunucularında DeepSeek modeli çalıştıranların resmî DeepSeek API’siyle aynı davranışı elde etmesi. Bu, şirket içi kurulumlarda sıkça karşılaşılan “aynı model, farklı sonuç” sorununu azaltabilir.
Fiyat baskısı ve jeopolitik boyut
DeepSeek, X’te yaptığı açıklamada amacın “topluluğun hesaplama maliyetlerini düşürmesine, enerji kullanımını azaltmasına ve yapay zekâyı daha erişilebilir kılmasına yardımcı olmak” olduğunu söyledi. The Decoder’ın değerlendirmesine göre zaten oldukça ucuz olan DeepSeek modelleri için DeepInfer, onları daha da ucuza çalıştırmanın eksik parçasını tamamlıyor. Yayın, OpenAI ve Anthropic gibi Batılı sağlayıcılar üzerindeki fiyat baskısını artırıyor; ABD ile Çin arasındaki yapay zekâ rekabeti düşünüldüğünde adımın siyasi bir boyutu olabileceği de yorumlanıyor.
Türkiye’deki kurumlar ve girişimler açısından bakıldığında, açık ağırlıklı modelleri kendi altyapısında çalıştırmak isteyenler için üretim düzeyinde test edilmiş bir çıkarım yazılımının açık kaynak olması önemli bir seçenek. Verinin yurt dışına çıkmaması gereken kamu, sağlık ve finans projelerinde, model ağırlıklarının yanında onları verimli çalıştıracak yazılımın da serbestçe erişilebilir olması maliyetleri düşürebilir. Ancak yazılımın yalnızca en yeni nesil donanımı desteklemesi, şimdilik büyük veri merkezi yatırımı olan kurumlarla sınırlı bir kitleye hitap ettiğini gösteriyor.
Kaynak: DeepSeek, GitHub, The Decoder
