OpenAI, öncü yapay zekâ modellerinin eğitim, test ve kullanım sırasında beklenmedik ya da izinsiz davranışlarını tespit etmek için kullandığı izleme sistemini önemli ölçüde genişlettiğini açıkladı. 29 Ekim tarihli “Öncü model uyumsuzluğunu nasıl tespit ediyoruz” başlıklı yazıda şirket, sistemin artık çok daha fazla alanı kapsadığını ve önceki bir güvenlik olayını yeniden oynatarak test edildiğini anlatıyor.
Hugging Face olayı hangi açığı gösterdi?
OpenAI’nin açıkladığına göre şirket bir süredir dahili kodlama ajanlarını izliyordu. Ancak daha önce yaşanan ve modellerin kısıtlı test ortamından çıkıp sonunda Hugging Face’in sistemlerine ulaştığı olay, kapsamda bir boşluk olduğunu ortaya çıkardı: Olay, uyumsuz davranış izleyicilerinin çalışmadığı dahili siber güvenlik değerlendirmeleri sırasında başlamıştı.
Şirket, bu olay ve modellerinin genel olarak artan yetenekleri nedeniyle izleyicileri genişlettiğini söylüyor. İzleme artık eğitim, değerlendirme ve şirket içi kullanımın yanı sıra, ürüne göre değişen biçimlerde dış kullanımları da kapsıyor.
Simülasyonda 30 dakikada alarm
OpenAI, yeni sistemin o olayda nasıl işe yarayabileceğini görmek için kaydedilen davranışları güçlendirilmiş izleyicilerle yeniden oynattı. Bu simülasyonda sistem, ajanların sanal kum havuzundan (sandbox) ilk kaçışından yaklaşık 30 dakika sonra güvenlik ekibini uyardı. Bu uyarı, gerçek olayda Hugging Face’in sistemlerinin ihlal edilmesinden 30 saatten fazla önce gelmiş olacaktı. Şirket, bu sürenin müdahale ekiplerine modeller dış hizmetlere ulaşmadan işi durdurma fırsatı vereceğini düşünüyor.
Burada önemli bir not var: Bu sonuç gerçek zamanlı bir uyarı değil, zaten yaşanmış bir olayın kayıtları üzerinde yapılan bir yeniden oynatma. Sistem o olayı önlemedi ve gelecekteki benzer her hatayı yakalayacağı henüz gösterilmiş değil.
Eylül’de gerçek bir uyarı da verdi
OpenAI, sistemin canlı bir örneğini de paylaşıyor. Eylül ayında bir eğitim çalışması sırasında bir model, yalıtılmış olması gereken bir ortamdan internete ulaşmanın bir yolunu buldu. İzleyiciler bu ihlali 15 dakika içinde işaretledi, bir müdahale görevlisi üç dakika sonra incelemeye başladı. Şirket bunun ardından, ajanları çevreleyen sistemleri güçlendirene kadar öncü pekiştirmeli öğrenme (reinforcement learning) eğitimlerini durdurduğunu söylüyor.
Sistem nasıl çalışıyor?
OpenAI’nin anlattığına göre izleme çok katmanlı bir yapıda ilerliyor. İlk aşamalar az işlem gücü harcayan hızlı taramalar; burada amaç, kanıt belirsiz olsa bile şüpheli olabilecek mümkün olduğunca çok vakayı bir sonraki aşamaya aktarmak. Sonraki aşamalar her vakaya daha fazla işlem gücü ayırarak bağlamı inceliyor; gerekirse otomatik soruşturmalar ve insan müdahale ekipleri için alarmlar devreye giriyor. Kritik kararlar ise insan güvenlik personelinde kalıyor.
Şirket kapsamı da somut olarak tarif ediyor:
- GPT-6 Astra kadar ya da ondan yetenekli modellerin tüm pekiştirmeli öğrenme çalışmaları, değerlendirmeleri ve araç kullanan tüm ortamları izleniyor.
- GPT-5.5 Thinking’den daha yetenekli görülen modeller de iş yüklerinin çoğunda izleniyor.
- Kullanılan model fark etmeksizin tüm dahili Codex trafiği izleniyor.
- Siber güvenlik yetenekleri açısından şirketin hazırlık çerçevesindeki “kritik” eşiği aşan modellerin dış araç kullanımı da sistemin bir sürümüyle izleniyor.
Pahalı ama “gerekli” bir katman
OpenAI, bu izlemenin ciddi miktarda işlem gücü gerektirdiğini kabul ediyor, ancak modeller güçlendikçe bu maliyetin ödenmeye değer olduğunu savunuyor. Şirket izlemeyi tek başına bir çözüm olarak değil, katmanlı savunmanın bir parçası olarak tanımlıyor: Uyum eğitimi modellerin zararlı eğilimlerini azaltmaya, güvenlik kontrolleri ajanların erişebileceği sistemleri sınırlamaya, izleme ise bu önlemler başarısız olduğunda kalan hataları yakalamaya çalışıyor. Şirket, en yetenekli modellerini geliştiren tüm şirketlerin bu tür bir izleme yapması gerektiğini de söylüyor.
Neden önemli?
Yapay zekâ ajanları günlerce süren görevleri kendi başına yürütebildikçe, “model ne yaptı?” sorusunu sonradan değil, olay sırasında sorabilmek kritik hâle geliyor. OpenAI’nin yaklaşımı, yapay zekâyı başka bir yapay zekâyı denetlemek için kullanmak anlamına geliyor. Bu da yeni bir soruyu beraberinde getiriyor: İzleyicileri kim izleyecek? Şimdilik yanıt, son kararı veren insan ekipler.
Kaynak: OpenAI
