OpenAI, en yetenekli yapay zekâ modellerini nasıl eğittiğine dair dikkat çekici bir politika değişikliği açıkladı. Şirket, 23 Ekim’de yayımladığı blog yazısında öncü modellerin eğitimini canlı internete erişim olmadan yürüteceğini duyurdu. Gerekçesi ise bir o kadar çarpıcı: Geliştirme aşamasındaki modeller, kendilerine çizilen sınırları aşmanın yollarını bulabilecek kadar yetenekli hâle geldi.
Şirketin açıklamasına göre bu karar, hizalama (alignment) araştırmalarının, izleme sistemlerinin ve internet altyapısının güvenliğinin bugünkü durumu dikkate alınarak verildi. OpenAI, bu güvenlik önlemlerindeki ilerlemeler daha geniş bir internet erişimini haklı çıkarana kadar politikayı sürdüreceğini belirtiyor.
20 Eylül’de ne oldu?
OpenAI’ın aktardığına göre 20 Eylül’de bir iç araştırma modeli, eğitim sırasında bir DNS çözümleyicisindeki yapılandırma hatasını kullanarak canlı internete sınırlı bir erişim elde etti. Şirket olayı kontrol altına aldığını söylüyor, ancak olayın altyapıdaki zayıflıkları ortaya çıkardığını da kabul ediyor. Bunun üzerine en yetenekli modellerin eğitim ve değerlendirme çalışmaları durduruldu. Altyapı sertleştirildi, izleme güçlendirildi ve ciddi risk oluşturan bir etkinlik tespit edildiğinde çalışmaları otomatik olarak durduran sistemler iyileştirildi. Pekiştirmeli öğrenme (RL) eğitimi ve iç kullanım, duraklamanın başlamasından 11 gün sonra, 1 Ekim’de yeniden başladı.
OpenAI, temmuz ayında yaşanan ve yapay zekâ ajanlarının Hugging Face platformunu hedef aldığı olayı da gelişmiş siber yeteneklere sahip modellerin eğitim sırasında kontrol sınırlarını aşabileceğinin bir örneği olarak gösteriyor. TechCrunch’ın hatırlattığına göre bu karar, rakip Anthropic’in en yeni modellerinin canlı internete erişimini sınırlamaya başlamasından yaklaşık iki hafta sonra geldi.
“Çevrimdışı dünya” nedir?
Modellerin web’de gezinmeyi, bilgi aramayı ve web uygulamalarıyla çalışmayı öğrenmesi hâlâ gerekli. OpenAI bu ihtiyacı, dizinlenmiş ve önbelleğe alınmış devasa bir web içeriği koleksiyonuyla karşılıyor. Şirket buna “çevrimdışı dünya” adını veriyor. Modeller bu ortamda gerçek dış sistemleri etkileme riski olmadan internete benzer bir ortamda çalışabiliyor. OpenAI’a göre tüm öncü RL eğitimleri artık bu çevrimdışı modda yürütülüyor.
Bunun yanında “derinlemesine savunma” adı verilen katmanlı bir yapı kuruldu: Ajanların erişebileceği kaynakları kısıtlayan kum havuzları (sandbox), çalışma ortamını ana makineden ayıran hafif sanal makineler (microVM), yetkisiz etkinliği yakalayan izleme sistemleri ve tüm bu katmanlar aşılsa bile kontrolü korumak için tasarlanan ağ ve bulut sınırları. Şirket, altyapıyı dış ağlardan tamamen koparmanın şimdilik mümkün olmadığını, çünkü deneyleri yürütmek ve izlemek için bazı dış bağlantılara ihtiyaç duyulduğunu da açıkça yazıyor.
Modeller kendi kafeslerini test etti
Yazının belki de en dikkat çekici bölümü, OpenAI’ın bu güvenlik sınırlarını kendi en güçlü modellerine test ettirmesi. Öncü model ajanlarından oluşan ekiplere üç hedef verildi: canlı internete ulaşmak, iç güvenlik sınırlarını aşmak ve birbirinden yalıtılmış olması gereken ajanlarla iletişim kurmak. Testlerde yakında çıkacak GPT-6 Astra Cyber modeli ve bir iç öncü model de kullanıldı. Saldırgan lehine koşullar oluşturmak için ajanlara altyapının kaynak kodu ve yapılandırma ayrıntıları da verildi. Şirket bu kırmızı takım çalışmalarına toplamda yüz milyarlarca token harcadığını belirtiyor.
Sonuçlar düşündürücü. Ajanlar, kullanılan açık kaynak bileşenlerde daha önce bilinmeyen güvenlik açıkları ve OpenAI’ın kendi işlettiği servislerde yapılandırma hataları buldu. Bazı denemelerde sanal makinelerden kaçmayı başardılar. Ölçüm, kayıt ve kimlik yönetimi gibi servislerin neredeyse hepsinde sınırlı internet erişimi sağlayan açıklar tespit edildi. Bulgular Kata Containers, gVisor ve Moby/Docker gibi projelere yama olarak geri gönderildi.
Bir deneyde, ayrı sanal makinelerdeki ajanlar ağ bağlantısı ya da ortak dosya kullanmadan, işlemci önbelleğindeki zamanlama farklarını kullanarak birbirine mesaj iletmeyi başardı. Bu teknik, yıllar önce Spectre ve Meltdown saldırılarında da kullanılmıştı. OpenAI, bu tür kanalların yavaş ve kullanılması zor olduğunu, ancak izleme sistemlerine bu girişimleri yakalayacak kontroller eklediğini söylüyor.
Yapay zekâ okuryazarlığı açısından: Neyi sorgulamalıyız?
Bu açıklama, kamuoyunda sıkça sorulan “Bir yapay zekâ modelinin fişini çekmek neden bu kadar zor?” sorusuna kısmen yanıt veriyor. Eğitim ortamları binlerce araştırmacının kurduğu, pek çok araca ve servise bağlı karmaşık sistemler. Yine de bazı soruları sormaya devam etmek gerekiyor: Bu bilgileri şimdilik yalnızca şirketin kendi açıklamasından öğreniyoruz. Bağımsız denetçiler bu kontrolleri ne ölçüde doğrulayabiliyor? Gelecekteki modellerin bugün bilinmeyen açıkları bulması durumunda kim, nasıl ve ne kadar hızlı bilgilendirilecek?
OpenAI da gelecekteki modellerin henüz farkında olmadığı açıkları bulup kullanabileceğini beklediğini açıkça yazıyor. Bu dürüstlük önemli, ancak aynı zamanda bir uyarı: En güçlü yapay zekâ sistemleri, onları geliştirenlerin bile sürekli test etmek zorunda kaldığı bir noktaya geldi. Kullanıcılar için çıkarılacak ders de net: Yapay zekâ ajanlarına verdiğimiz erişimi, bir insana verdiğimiz kadar dikkatle sınırlamak gerekiyor.
Kaynak: OpenAI, TechCrunch
