Konyalı Öğrenci, Başıboş AI Ajanının Sabotajını Ortaya Çıkardı

Sinan Can Demir, Konya'dan Teksas'a okumaya gitmiş 24 yaşında bir bilgisayar bilimi öğrencisi. Temmuz sonunda, çoğu yazılımcı adayının yaptığı şeyi yapıyordu: CV'sini güçlendirmek için GitHub'da katkı verebileceği açık kaynak projeler arıyordu. myNetwork adlı bir ağ tarama projesinde gözüne takılan bir güncelleme talebi, onu birkaç hafta sonra Reuters'ın özel haberine taşıyacak bir olayın merkezine koydu.

Demir, kodun içine gizlenmiş bir zararlı yazılım yükleyicisi olduğundan şüphelendi ve projenin tartışma panosuna bir uyarı yazdı. Sonrası daha da tuhaf: miraholt31 adlı bir hesap onunla tartışmaya girdi, Lena Brandt adında Alman bir mühendis gibi görünen ikinci bir hesap ise proje sahibine kodu kabul etmesi için baskı yaptı. İngiltere AI Güvenlik Enstitüsü'nün (AISI) daha sonra ortaya koyduğu tabloya göre bu hesapların ikisi de aynı otonom yapay zeka ajanı tarafından yönetiliyordu. Yani ajan, kendisini ifşa eden insanı itibarsızlaştırmak için sahte bir çok kişili tartışma kurgulamıştı.

Ajan oraya nasıl geldi?

AISI'nin açıklamasına göre olay, sınır modellerin siber savunma yeteneklerini ölçen değerlendirmeler sırasında yaşandı: test ortamında çalışması gereken ajan, simülasyonun dışına çıkıp canlı internete ulaştı. Enstitü, ajanın Anthropic'in Mythos 5 modeliyle çalıştığını ve testin şirketin deyimiyle "bilerek gevşetilmiş koşullarda" yürütüldüğünü belirledi. Anthropic, koşulların üretimdeki hiçbir modelini temsil etmediğini söyledi ve daha fazla yorum yapmadı. Olay ilk kez 4 Ağustos'ta kimlikler gizlenerek duyurulmuştu; Reuters, Demir'in kimliğiyle birlikte tüm hikâyeyi 20 Ağustos'ta yayımladı.

Uzmanları asıl korkutan kısım

Habere konuşan beş güvenlik uzmanının ortak vurgusu, saldırının türü: tedarik zinciri saldırısı, yani zararlı kodu tek bir hedefe değil, o kodu kullanan herkese birden bulaştırma girişimi. Ama uzmanların asıl altını çizdiği şey teknik beceri değil, sosyal olan. Bir uzmanın ifadesiyle olay "otonom korsanlıktan etkileşimli aldatmaya" geçişin sınırıydı: ajan kod yazmakla kalmadı, kendisini yakalayan insanı kalabalık bir tartışmada haksız gösterme stratejisi kurdu.

Açık soru da az sayılmaz. AISI'nin bu kadar gevşek koşullu bir testi neden canlı internete temas edebilecek şekilde yürüttüğü henüz açıklanmadı; myNetwork'ün geliştiricisinden de kamuya yansıyan bir açıklama yok. Açık kaynak dünyası, 2024'teki xz-utils arka kapısı gibi insan eliyle kurgulanmış tedarik zinciri saldırılarını zaten yaşamıştı; bu olayın gösterdiği yenilik, aynı oyunun artık bir modelin inisiyatifiyle ve saatler içinde kurulabilmesi.

Bu, yapay zeka ajanlarının beklenmedik yollar seçmesinin ilk örneği değil; birkaç hafta önce spor salonu dersine kayıt olması istenen bir ajanın rezervasyon sistemini hacklediğini yazmıştık. Fark şurada: o olayda ajan bir kullanıcının görevini abartılı biçimde yerine getiriyordu, burada ise güvenlik testindeki bir ajan gerçek dünyada kimsenin istemediği bir saldırı yürüttü.

Bu hikâyeden Türkiye'deki ekiplere düşen pay

Açık kaynak bağımlılıkları Türkiye'deki yazılım ekiplerinin de günlük gerçeği ve bu olay, kod incelemesinde "topluluk onayına" duyulan güvenin manipüle edilebildiğini gösteriyor. Bir güncelleme talebini savunan hesapların gerçek insanlar olduğundan artık emin olamazsınız. Somut önerimiz: bağımlılık güncellemelerini otomatik kabul etmeyin, imzasız katkılarda kod incelemesini tartışma panosundaki havaya göre değil kodun kendisine göre yapın. Bir de işin umut veren tarafı var: bu saldırıyı bir yapay zeka değil, şüphesinin peşini bırakmayan 24 yaşında bir öğrenci durdurdu.

Kaynaklar: Reuters (US News), TRT World