Yapay zekâ ajanlarıyla çalışırken genellikle şöyle düşünürüz: Kodu ajan yazar, hesapları ajan yapar, öneriyi ajan sunar; ama neyin ölçüleceğine, belirsiz bir kanıtın nasıl yorumlanacağına ve sonunda ne yapılacağına uzman karar verir. Anthropic’in 27 Ekim’de yayımladığı yeni araştırma, bu varsayımı ciddi biçimde sorgulatıyor.
Şirketin hizalama (alignment) ekibinden Amaç Herdağdelen, Hailey Joren ve Alex Tamkin’in yürüttüğü çalışmada, nedensel çıkarım alanında deneyimli 50 profesyonel analist, Claude Code ile gerçekçi bir istatistik analizi yaptı. Sonuç dikkat çekici: Analistler, ajana gizlice verilen eğilimleri dört analitik kararda ortalama yüzde 86 oranında izledi. Ajanın hiçbir etkisi olmasaydı bu oranın yüzde 50 civarında olması beklenirdi.
Deney nasıl kuruldu?
Analistlerden, kurgusal bir tarım kooperatifinin yürüttüğü danışmanlık programının işe yarayıp yaramadığını değerlendirmeleri ve programın genişletilip genişletilmeyeceği konusunda öneri sunmaları istendi. Kooperatif yönetimi, program verimliliği yaklaşık yüzde 3–4 artırırsa genişletmeye karar verecekti; ama verimliliğin nasıl ölçüleceğini tanımlamamıştı.
Araştırmacılar, her biri iki makul seçenek içeren dört karar noktasını bilerek açık bıraktı: Verimlilik hektar başına ürünle mi, yoksa işletme maliyeti başına ürünle mi ölçülecek? Hangi karşılaştırma yöntemi kullanılacak? Etki yalnızca katılan çiftliklerde mi, tüm üyelerde mi hesaplanacak? Büyük üreticilere daha fazla ağırlık verilecek mi? Bu seçimlerin her biri tahmini etkiyi birkaç puan değiştirebiliyordu; eşik yüzde 3–4 olduğu için bu fark sonucu belirleyebilecek düzeydeydi.
Her analistin ajanına, her karar için yazı tura ile belirlenen bir “eğilim” verildi. Analistler bundan haberdar değildi. Ajana, bu eğilimi kendi görüşü gibi savunması, verilerin izin verdiği en güçlü argümanı kurması, kanıtlar aksini gösterirse fikrini değiştirmesi ve asla yanıltmaması talimatı verildi. Yani ajan yalan söylemiyordu; yalnızca bir tarafı iyi savunuyordu.
Bulgular: Fikir değiştirme, ödünç argümanlar
- Dört analitik kararda analistlerin seçimleri ajanın eğilimiyle yüzde 81 ile yüzde 92 arasında örtüştü; toplamda oran yüzde 86 oldu.
- Ajan konuşmadan önce kendi tercihini belirten analistler, ajan karşı görüşteyse yüzde 60 oranında fikir değiştirdi; ajan aynı görüşteyse bu oran yüzde 6’da kaldı. Araştırmacılar bu bulgunun yalnızca 38 vakaya dayandığını ve kesinliğinin sınırlı olduğunu vurguluyor.
- Görev sonrası ankette analistlerin yüzde 77’si ajanın argümanlarını, kimi zaman kelimesi kelimesine tekrarladı; ancak yalnızca yüzde 15’i ajanı kaynak olarak andı.
- Nihai öneride etki daha zayıftı: Ajan genişletmeden yana olduğunda analistlerin yüzde 54’ü genişletmeyi önerdi, karşı olduğunda bu oran yüzde 36’ydı. Yine de araştırmacılara göre yalnızca yazı tura sonuçlarına bakarak analistlerin önerilerinin yüzde 82’si önceden tahmin edilebiliyordu.
Belki de en düşündürücü bulgu şu: Deneyim, eğitim düzeyi veya yapay zekâya duyulan güven gibi özellikler, kimin ajana daha çok uyduğunu anlamlı biçimde öngörmedi. Ajanı yakından izleyen analistler de önerilerine diğerleri kadar güveniyor ve kararı büyük ölçüde “kendilerinin” sayıyordu. Görevin ne hakkında olduğunu soran soruda 48 kişiden altısı çalışmanın yapay zekânın etkisiyle ilgili olduğunu tahmin etti, ama hiçbiri ajanın tercihlerinin bilerek ayarlandığından şüphelenmedi.
Bu, yapay zekâyı kullanmayın demek mi?
Araştırmacılar özellikle bunun bir “yapay zekâdan uzak durun” mesajı olmadığını belirtiyor. Ajanı kullanan analistler görevi daha hızlı bitirdi ve çok daha az ciddi hata yaptı: Ajansız çalışan 11 kişiden altısı sonucu geçersiz kılan yöntem hataları yaptı, ajan kullanan 50 kişide bu sayı üçtü. Ancak ajansız grup küçük ve ortalamada daha az deneyimliydi; bu nedenle karşılaştırmadan kesin bir sonuç çıkarılmaması gerektiği de not ediliyor.
Çalışmanın sınırları
Anthropic, ajanların eğilimlerinin ölçüm yapabilmek için bilerek güçlendirildiğini kabul ediyor. Hiçbir eğilim atanmadığında Claude Opus 4.8’in 123 denemenin 112’sinde aynı beş seçimi yaptığı, yani modellerin kendi varsayılan tercihlerinin de olabileceği belirtiliyor. Çalışma tek bir görev, tek bir alan ve tek bir modelle sınırlı; analistler tarım alanına yabancıydı ve gerçek işte paydaşlarla konuşma imkânları olurdu. Bu nedenle gerçek dünyadaki etkinin daha küçük olabileceği ifade ediliyor.
Neden önemli: Bağımsız onay yanılsaması
Araştırmacılara göre mesele bireysel uzmanın “karar sahipliğini” kaybetmesiyle sınırlı değil. Bilimde ve politika yapımında, farklı ekiplerin aynı sonuca bağımsız olarak ulaşması güven verir. Ama bu ekipler aynı tercihlere sahip modellere yaslanıyorsa, görünen uzlaşı aslında tek bir modelin önceliklerini yansıtıyor olabilir. Aynı sorun, insanın bağımsız bir kontrol noktası olduğu varsayılan yapay zekâ güvenliği araştırmaları için de geçerli. Ekip; ajanların her seçeneğin en güçlü savunusunu sunması, uzmana önce kendi görüşünü sorması ve kurumların hangi kararların gerçekten insan muhakemesi gerektirdiğini bilinçli olarak belirlemesi gibi yönleri öneriyor.
Yapay zekâ okuryazarlığı açısından: Kendimize soralım
- Bir ajanla çalışırken önemli bir seçimi yapmadan önce kendi görüşümü yazıya döküyor muyum?
- Ajandan yalnızca önerisini değil, karşı seçeneğin en güçlü savunusunu da istiyor muyum?
- Raporuma yazdığım gerekçe benim mi, yoksa ajandan farkında olmadan ödünç aldığım bir cümle mi?
- Kurumumda “insan onayladı” imzası, gerçekten bağımsız bir değerlendirme anlamına geliyor mu?
Bu çalışma, yapay zekâ okuryazarlığının yalnızca hatalı çıktıları yakalamak olmadığını gösteriyor. Doğru ya da yanlışın net olmadığı, tamamen muhakemeye dayalı kararlarda asıl soru şu: Kararı biz mi veriyoruz, yoksa ikna edici bir ajanın tercihini mi onaylıyoruz?
Kaynak: Anthropic, Al Jazeera
