Yapay zekâ denince çoğumuzun aklına dev veri merkezlerinde çalışan büyük modeller geliyor. Ancak son dönemde, doğrudan telefonda, dizüstü bilgisayarda ya da araç içindeki bir cihazda çalışan küçük modeller de hızla gelişiyor. Liquid AI’ın 27 Ekim’de tanıttığı LFM3 ailesi bu eğilimin yeni ve iddialı bir örneği.
Şirkete göre LFM3, metin, görüntü, ses, “omni” (görüntü ve sesi birlikte işleyen) ve karar modellerini tek bir ortak omurga üzerinde topluyor. İlk sürüm, 2 milyar parametre sınıfında altı modelden oluşuyor. Temel ve eğitilmiş modeller açık ağırlıklı olarak Hugging Face, şirketin deneme ortamı ve kendi API’si üzerinden sunuluyor; yani geliştiriciler modelleri indirip kendi verileriyle özelleştirebiliyor.
Şirketin öne çıkardığı rakamlar
- LFM3-1.7B metin modeli, 22 trilyon token ile ön eğitimden geçti. Şirkete göre bu model, yüzde 35 daha az parametreyle önceki LFM2.5-2.6B modelini geride bırakıyor.
- Metin modeli 4 bit hassasiyette yaklaşık 1 GB’a sığıyor ve 256 bin tokenlik bağlam penceresine sahip.
- Her model tek bir GPU üzerinde ince ayar yapılabilecek şekilde tasarlandı.
- Liquid AI, mimariyi 14 farklı cihaz ve arka uç kombinasyonunda test ederek tasarladığını belirtiyor; aralarında telefonlar, Raspberry Pi 5, dizüstü bilgisayarlar ve bulut işlemcileri bulunuyor.
Şirketin paylaştığı karşılaştırmalarda LFM3-1.7B, talimat izleme ve araç çağırma testlerinde öne çıkıyor; tarayıcıda ve iş uygulamalarında uzun görevleri ölçen bazı testlerde kendinden birkaç kat büyük modelleri geride bırakıyor. Ancak şirket, ajan tabanlı kodlama ve genel bilgi gerektiren testlerde daha büyük modellerin hâlâ önde olduğunu açıkça kabul ediyor. Bilgi açığını kapatmak için arama araçlarının kullanılması öneriliyor.
Görüntü, ses ve karar modelleri
LFM3-VL-2B görüntü modeli, şirketin LFM serisinde ilk kez video girdisi alabiliyor; örneğin kaydedilmiş bir ders videosu hakkında soru sorulabiliyor. LFM3-Audio-2B 18 dilde konuşmayı yazıya dökme, sentezleme ve çeviri yapabiliyor. LFM3-Omni-2B ise görüntü ve sesi birlikte işleyerek, örneğin elle yazılmış bir matematik sorusuna bakıp sözlü bir soruya yanıt verebilen bir öğretmen asistanı gibi kullanım senaryoları için tasarlandı.
Ailenin iki karar modeli (d1-2B ve d1-Omni-2B) ise metin üretmek yerine, bir destek talebi, fatura, ekran görüntüsü veya ses kaydı hakkında sorulan çok sayıda soruyu tek geçişte ve her biri için bir olasılık değeriyle yanıtlıyor. Şirkete göre bu modeller milisaniyeler içinde karar verebiliyor.
Neden önemli: Veri cihazda kalıyor
Cihazda çalışan modellerin en büyük vaadi gizlilik. Şirketin ifadesiyle bu modeller, verinin cihazdan çıkmasına ya da bulut bağlantısına gerek kalmadan günlük kullanım imkânı sunuyor. Bu, sağlık kayıtları, öğrenci verileri ya da şirket içi belgeler gibi hassas bilgilerle çalışan kurumlar için önemli. İnternet bağlantısının zayıf olduğu yerlerde ve maliyetin belirleyici olduğu küçük işletmelerde de küçük modeller daha erişilebilir bir seçenek olabilir.
Lansman ortakları arasında AMD, Qualcomm, NVIDIA, Arm ve Intel gibi donanım şirketleri bulunuyor; Mercedes-Benz ise araç içi sesli asistan için cihazda çalışan yapay zekâyı Liquid ile birlikte araştırdığını belirtiyor.
Sınırlar ve dikkat edilmesi gerekenler
Paylaşılan tüm başarı oranları şirketin kendi karşılaştırmaları; bağımsız değerlendirmelerin sonuçlarını görmek gerekecek. Şirketin kendi tablolarında da küçük modellerin bilgi gerektiren sorularda büyük modellerin gerisinde kaldığı görülüyor. Liquid AI’ın bir ince ayar örneğinde, rüzgâr türbini kanatlarındaki kusurları sınıflandırmada temel modelin doğruluğu yüzde 10’un altındayken kısa bir eğitimle yüzde 67’ye çıktığı belirtiliyor. Bu, küçük modellerin belirli bir işe özelleştirildiğinde güçlenebildiğini, ama kutudan çıktığı hâliyle her işte güvenilir olmayabileceğini de gösteriyor.
Şirketin, metin modelinin “e-postalarınızı ayıklayabildiğini, takviminizi yönetebildiğini” ve token maliyeti olmadığı için “onlarca ajanın arka planda sürekli çalışabileceğini” vurgulaması da ayrı bir soru doğuruyor: Cihazımızda sessizce çalışan ajanların ne yaptığını nasıl izleyeceğiz?
Yapay zekâ okuryazarlığı açısından: Neyi sorgulamalıyız?
- “Cihazda çalışıyor” ifadesi, uygulamanın hiçbir veriyi dışarı göndermediği anlamına mı geliyor, yoksa yalnızca modelin yerel çalıştığı anlamına mı?
- Küçük bir modelin belirli bir görevde ne kadar doğru olduğunu, kendi verimizle test etmeden bilebilir miyiz?
- Arka planda sürekli çalışan ajanlar için hangi izinleri veriyoruz ve bunları nasıl geri alabiliriz?
- Açık ağırlıklı modellerin herkes tarafından özelleştirilebilmesi, kötüye kullanım riskini nasıl etkiliyor?
LFM3, yapay zekânın yalnızca bulutta değil cebimizde de güçlendiğini gösteriyor. Bu, daha fazla gizlilik ve bağımsızlık fırsatı sunarken, kontrolün de artık daha fazla bizim elimizde olduğunu hatırlatıyor.
Kaynak: Liquid AI
