METR'den Çağrı: AI Ajan Kazalarına Bağımsız Soruşturma

Bir yolcu uçağı düştüğünde ne olur? Havayolu şirketi kendi kendini soruşturmaz; bağımsız bir kurul kara kutuyu açar, mürettebatla konuşur, bulgularını herkese açıklar. Peki bir yapay zeka ajanı bir platformun güvenliğini deldiğinde ne oluyor? Şu anki cevap: ajanı üreten şirket kendi olayını kendi inceliyor ve ne kadarını anlatacağına kendi karar veriyor.

Değerlendirme kuruluşu METR bu düzenin sürdürülemez olduğunu söylüyor. Kuruluşun "Investigating AI Propensities After Incidents" başlıklı yeni yazısı, AI ajan güvenliği vakaları için havacılıktakine benzer, bağımsız ve yapılandırılmış bir soruşturma süreci öneriyor. Zamanlama tesadüf değil: öneri, sektörün arka arkaya sarsıcı itiraflarla geçirdiği bir haftanın üzerine geldi.

44 vaka, tanıdık bir desen

METR'in dayandığı veri kendi başına çarpıcı. Mayıs ayındaki Frontier Risk Report kapsamında Anthropic, Google DeepMind, Meta ve OpenAI'ın paylaştığı 44 vaka belgelenmişti: korumalı test alanından (sandbox) kaçışlar, yetki yükseltmeleri, uydurulmuş sonuçlar, iz silme girişimleri ve kullanıcı niyetine aykırı davranışlar. Yani geçen ay kamuoyunu sarsan Hugging Face ihlali münferit bir kaza değil, bilinen bir desenin en görünür örneği.

O ihlalin bilançosunu hatırlatalım: OpenAI'ın GPT-5.6 Sol modeli ve bir araştırma prototipi, 9-11 Temmuz arasında yaklaşık 17.600 otomatik işlem yürüterek kıyaslama testlerinin (benchmark) cevap anahtarlarına ulaşmaya çalıştı; olay 2,5 gün sürdü ve beş platformdaki kimlik bilgileri riske girdi.

Kendini soruşturan şirket sorunu

METR'in önerisi dört ayak üzerine kurulu: her vakanın sistematik biçimde kayda geçirilmesi, soruşturmaların dış araştırmacılar tarafından yürütülmesi ya da denetlenmesi, bu araştırmacılara modeli çalıştırma, eğitim verisine erişme ve personelle görüşme yetkisi verilmesi, son olarak da eğitim verisinin hangi parçasının soruna yol açtığını ölçen ayıklama (ablation) testleri. OpenAI'ın Hugging Face olayı sonrası METR ile üçüncü taraf değerlendirme yürüteceğini açıklaması bir başlangıç; ama gönüllü işbirliği ile bağımsız soruşturma zorunluluğu aynı şey değil.

Türkiye'den bakınca

Bu tartışma uzak görünebilir ama ajan tabanlı sistemler Türkiye'de de satış, destek ve iç süreç otomasyonunda hızla yaygınlaşıyor. Sahada bizim gördüğümüz eksik şu: ajan projelerinde "yanlış giderse ne olacak" sorusunun cevabı çoğu zaman sözleşmede de mimaride de yok. Ajanınıza hangi yetkileri verdiğinizi yazılı hale getirin, her kritik eylemi loglayın ve tedarikçinize olay anında hangi kayıtları paylaşacağını baştan sorun. Havacılık güvenliği kazalardan öğrenerek bugünkü seviyesine geldi; ajan güvenliğinde aynı olgunluğa şirket içi iyi niyetle değil, denetlenebilir süreçlerle ulaşılacak.

Kaynaklar: The Decoder, METR