Bir toplantı kaydını yazıya dökmek artık sıradan bir iş gibi görünüyor. Ama asıl zorluk, kelimelerin ötesinde: Kim ne söyledi, hangi karar alındı, teknik terimler doğru yazıldı mı? NVIDIA’nın 28 Ekim’de yayımladığı Nemotron 3.5 Transcribe, bu soruların hepsini tek bir modelde yanıtlamayı hedefliyor.
Açık ağırlıklı olarak yayımlanan model, konuşmayı yazıya dökme, konuşmacıları ayırt etme, çeviri ve ses kaydı hakkında soru yanıtlama işlevlerini bir arada sunuyor. NVIDIA’ya göre model 40 dilde yazıya dökme yapabiliyor, bunların 31’inde İngilizceye ya da İngilizceden çeviri yapabiliyor ve 13 dilde konuşmacı ayırt edebiliyor. Bir saate kadar süren kayıtları işleyebiliyor ve sekize kadar konuşmacıyı etiketleyebiliyor.
Türkçe için ne sunuyor?
Modelin dil destek tablosunda Türkçe, yazıya dökme ve dil karışımlı konuşmalar (code-switching) için “üretime hazır” seviyede işaretlenmiş durumda. Ancak tabloya göre Türkçe–İngilizce çeviri ve Türkçe çok konuşmacılı yazıya dökme henüz desteklenmiyor. Ayrıca ses hakkında soru yanıtlama ve akıl yürütme özellikleri yalnızca İngilizcede test edildiği için Türkçe kayıtlarda güvenilir çalışmayabileceği belirtiliyor. Yani Türkçe bir ders ya da röportaj kaydını yazıya dökmek için kullanılabilir, ama tüm özelliklerin Türkçede aynı kalitede çalışmasını beklememek gerekiyor.
Komutla yönlendirilebilen yazıya dökme
Modelin öne çıkan özelliği, doğal dilde verilen talimatlarla yönlendirilebilmesi. Aynı toplantı kaydına farklı komutlar vererek farklı çıktılar alınabiliyor:
- “Bu kaydı yazıya dök ve her konuşmacıyı etiketle.”
- “Bu sesi İngilizceye çevir.”
- “Bu toplantıda hangi kararlar alındı?”
Tıp gibi özel terminoloji içeren alanlarda, modele olası terimlerin listesi verilerek doğru yazım sağlanmaya çalışılabiliyor. NVIDIA’nın paylaştığı bir tıbbi örnek çalışmada, yalnızca daha iyi bir komut kullanmak hata oranını yüzde 30,8’den 23,8’e düşürdü; modelin alan verisiyle ince ayar yapılması ise hata oranını yüzde 11,8’e indirdi.
Teknik ayrıntılar ve sıralamalar
Model toplam 30 milyar parametreye sahip, ancak karma uzmanlar (mixture-of-experts) mimarisi sayesinde her adımda yalnızca yaklaşık 4 milyar parametre etkin oluyor. NVIDIA’ya göre model, Hugging Face Açık Konuşma Tanıma sıralamasında İngilizce kategorisinde açık ağırlıklı modeller arasında yüzde 5,33 ortalama kelime hata oranıyla birinci sırada. Konuşmacı ayırma testlerinde de üst sıralarda yer alıyor. Şirketin ölçümüne göre tek bir veri merkezi GPU’su, 100 saatlik sesi üç dakikanın altında işleyebiliyor.
Modelle birlikte Granary v2 adlı açık veri seti ve veri hazırlama hattı da yayımlandı. Veri seti 48 dilde 463 bin saatten fazla konuşma içeriyor. Bu sayede geliştiriciler, modeli kendi alanlarına ve aksanlarına göre uyarlayabiliyor. Ancak NVIDIA, bu rakamların yalnızca yayımlanan veri setini tanımladığını, modelin eğitim verisinin tamamını yansıtmadığını belirtiyor.
Sınırlar
Model canlı yayın için değil, kaydedilmiş sesler için tasarlandı; yani gerçek zamanlı altyazı üretmek için uygun değil. Paylaşılan başarı sıralamalarının bir kısmı bağımsız platformlara ait olsa da, örnek çalışmalar şirketin kendi ölçümleri. NVIDIA da her konuşma modelinde olduğu gibi isimlerin, konuşmacı geçişlerinin ve yanıtların orijinal kayıtla karşılaştırılarak kontrol edilmesini öneriyor. Modelin özel bir lisansla (OpenMDW-1.1) sunulduğunu ve kullanım koşullarının incelenmesi gerektiğini de not etmek gerek.
Neden önemli: Ses verisi kimin sunucusunda?
Açık ağırlıklı bir konuşma tanıma modeli, kayıtların üçüncü taraf bulut hizmetlerine gönderilmeden kurum içinde işlenebilmesine imkân tanıyor. Bu, hasta görüşmeleri, hukuki kayıtlar, öğrenci dersleri ya da şirket içi toplantılar gibi hassas içerikler için önemli bir avantaj. NVIDIA, modelin sıkıştırılmış sürümlerinin yakında kişisel bilgisayarlarda da çalıştırılabileceğini söylüyor.
Yapay zekâ okuryazarlığı açısından: Kayıt yaparken neyi düşünmeliyiz?
- Bir toplantıyı ya da dersi kaydedip yapay zekâya yazıya döktürmeden önce katılımcıların onayını alıyor muyuz?
- Yazıya dökülen metni, özellikle isimler ve rakamlar söz konusuysa, orijinal kayıtla karşılaştırıyor muyuz?
- Kullandığımız araç sesimizi nereye gönderiyor ve ne kadar süre saklıyor?
- “Hangi kararlar alındı?” sorusuna verilen özet, toplantının gerçek akışını doğru yansıtıyor mu?
Nemotron 3.5 Transcribe, Türkçe dahil birçok dilde güçlü ve açık bir konuşma tanıma seçeneği sunuyor. Ama sesten metne geçen her adımda, insan kontrolü ve mahremiyet bilinci hâlâ en önemli güvence.
Kaynak: NVIDIA, Hugging Face, TechCrunch
