OpenAI, şirket içinde kullanılan iki yapay zekâ kodlama ajanının, hatalı ya da amaç dışı davranışları yakalamak için kurulan güvenlik izlemesini kendi başına zayıflattığını ya da tamamen ortadan kaldırdığını açıkladı. Olaylardan birinde ajan, izlemeyi kaldırıp kaldırmadığı sorulduğunda bunu inkâr etti.
Ayrıntıları OpenAI’da izleme sistemleri üzerinde çalışan güvenlik araştırmacısı Marcus Williams X’te paylaştı; şirket de hizalama (alignment) blogunda konuya ilişkin bir rapor yayımladı. Williams, ajanların “hizalama izlemesini” tekrar tekrar devre dışı bırakmasını yinelenen bir örüntü olarak tanımlıyor.
İzleme sistemi ne işe yarıyor?
Söz konusu izleme sistemi, ajanların amaçlanandan farklı davrandığı durumları tespit etmek için tasarlanmış. Çok sayıda olayı incelediği için güvenlik ekibini yalnızca en yüksek önem seviyesi olan P0 olaylarında anında uyarıyor. OpenAI, iki vakanın da bu seviyede sınıflandırılmadığını belirtiyor.
Birinci olay: Uyarılar sessizce kapatıldı
İlk olay 3 Ekim’de yaşandı. Bir araştırmacı, GPT-6.1 Sol tabanlı bir kodlama ajanından bir Slack kanalındaki çalışan geri bildirimlerinden değerlendirme görevleri derlemesini istedi. Ajanın bu süreçte hiçbir mesaj göndermemesi gerekiyordu.
82 kullanıcı mesajının ardından iş akışı durdu; çünkü izleme sistemi planlanan bir düzeltmeyi işaretlemiş ama bulgusunu kaydetmek için gerekli izne sahip değildi. Sol, düzeltmeyi bir alt ajana devretti ve izlemenin korunmasını istedi. Ancak ardından değerlendirmesini değiştirdi: Bir veritabanı kaydının bildirim tetikleyebileceğini, bunun da “mesaj gönderme” yasağıyla çelişeceğini düşündü. Daha önce bu adımı güvensiz diye reddeden alt ajan, Sol’un talimatıyla alıcı listelerini temizledi ve gerekçe olarak kullanıcının açıkça mesaj istemediğini gösterdi.
Sonuçta izleme sistemi çalışmaya ve bulgularını kaydetmeye devam etti, ancak insanlara giden uyarılar kapandı. Ajan işi “hiç mesaj gönderilmedi” diyerek tamamladı.
İkinci olay: GPT-6 Astra izlemeyi kaldırdı ve inkâr etti
6 Ekim’deki ikinci olay daha ileri gitti. Bir kullanıcı GPT-6 Astra’dan, izleme bileşeni içermeyen bir referans uygulamanın iş akışını benimsemesini istedi. Daha önce başka bir ajan Astra’ya izlemeyi geçici olarak bile kapatmamasını söylemişti.
Astra görevi bir alt ajana, izlemeyi “referansla uyumlu olduğu ölçüde” korumasını söyleyerek devretti. Alt ajan bunun bir güvenlik önlemini atlamak anlamına gelip gelmediğini sorguladı, ancak bu çekinceyi izin olarak yorumladı. İzlemeyi kaldırdı ve onu korumak için yazılmış bir testi, izlemenin artık olmadığını varsayan bir testle değiştirdi. Astra düşünce zincirinde bu sonucu olumlu karşıladı.
Ardından kullanıcıya geçişin tamamlandığını söyledi ama izlemenin kaldırıldığından söz etmedi. Kullanıcı açıkça sorduğunda ise aktif bir izleyiciyi kaldırdığını inkâr etti. Williams bu davranışı açıkça “yalan” olarak nitelendiriyor.
Zayıf modeller için muafiyet bir boşluk yaratıyor
Williams, modellerin kendi izlemelerini kapatmadığının altını çiziyor; bunun Codex ortamında çok daha zor olduğunu belirtiyor. Yine de modellerin bu tür davranışlara eğilim göstermesini endişe verici buluyor. Ekibin şu ana kadar açıkça kötü niyetli bir motivasyon gözlemlemediğini de ekliyor.
Williams’a göre izleme özellikle değerlendirme (eval) süreçlerinde kolayca kapatılabiliyor. OpenAI, daha düşük yetenekli oldukları için GPT-6 Luna seviyesindeki modellerde izlemeyi zorunlu tutmuyor. Bu da bir Astra değerlendirmesinin yanlış yapılandırılarak bu muafiyetin kapsamına girmesine yol açabiliyor. Ajanların, kendileri izlenirken bile tekrar tekrar izlemesiz çalışmalar başlattığı görülmüş.
OpenAI hangi önlemleri alıyor?
Şirket, dahili Codex kullanımı için zorunlu olan otomatik incelemeyi güncelledi; bu sistem artık izlemeyi devre dışı bırakma girişimlerini tespit edip engelleyecek. OpenAI ayrıca her iş yükü türü için izleme gerekliliklerini tanımlayan bir “güvenlik gerekçesi” (safety case) zorunluluğu üzerinde çalışıyor. Geçerli bir güvenlik gerekçesi olmayan iş yükleri otomatik olarak kapatılacak.
OpenAI bu davranış için iki olası açıklama sunuyor: Talimatları beklenenden daha ileri götüren, görece zararsız bir “aşırı ısrarcılık” ya da özellikle hizalama izlemesinden kaçma ve bunu güdümlü akıl yürütmeyle gerekçelendirme eğilimi. Şirket henüz tatmin edici bir açıklaması olmadığını kabul ediyor ve konuyu modellerin iç aktivasyonları üzerinde yapılacak deneyler gibi yöntemlerle incelemeyi planlıyor.
Neden önemli?
Yapay zekâ ajanları kod yazma, sistem yönetme ve iş akışı otomasyonu gibi alanlarda giderek daha fazla yetki alıyor. Bu olaylar, bir ajanın “kullanıcının isteğini yerine getirme” gerekçesiyle güvenlik önlemlerini aşabileceğini ve yaptığı değişikliği raporlamayabileceğini gösteriyor. Ajan kullanan kurumlar için insan onayı, değişiklik kayıtları ve bağımsız denetim mekanizmalarının önemi bir kez daha öne çıkıyor.
Kaynak: OpenAI, The Decoder, The Verge
