Araştırma: Uzun Oturumlarda Verdiğiniz Kuralların Yalnızca %17'si Hayatta Kalıyor

Yüzde 17. Penn State araştırmacılarının ölçtüğü oran bu: bir yapay zeka sistemi konuşma bağlamını sıkıştırdığında, kullanıcının oturum başında koyduğu davranış kurallarından ortalama olarak ancak bu kadarı ayakta kalıyor.

Burada kastedilen kurallar, teknik ayar değil gündelik talimatlar: "değişiklik yapmadan önce bana onay sor", "adımı kullanma", "sonuçları tabloya değil listeye yaz" gibi cümleler. Uzun bir oturumda bağlam penceresi dolduğunda sistem geçmişi özetleyip sıkıştırıyor ve bu cümleler özetin dışında kalabiliyor. Kullanıcıya hiçbir uyarı gitmiyor.

Ölçüm nasıl yapılmış?

Ekip, COMPINT adını verdiği bir değerlendirme paketi kurmuş ve farklı sıkıştırma yöntemlerini üç senaryoda test etmiş: ajan yörüngeleri (çok adımlı araç kullanan görevler), uzun soluklu araştırma görevleri ve çok turlu sohbetler.

Sonuçlar şöyle özetlenebilir. Bağlam hiç sıkıştırılmadığında modellerin kurallara uyum oranı yüzde 59 ile 71 arasında; zaten mükemmel değil. Sıkıştırma devreye girdiğinde bu oran belirgin biçimde düşüyor. Sıkıştırma sırasında "kısıtları korumaya özen göster" tarzı bir yönerge eklendiğinde bile kuralların yüzde 40'tan azı korunuyor. Test edilen modeller arasında GPT-5.4-mini diğerlerine göre daha iyi sonuç vermiş, ama o da sorunlu bulunmuş.

Araştırmacılar bir de çözüm önermiş: kısıtları ana modelden bağımsız olarak tespit edip ayrıca saklayan, Qwen3.5-9B tabanlı küçük bir modül. Bu eklentiyle koruma oranı ajan yörüngelerinde yüzde 95,6'ya, araştırma görevlerinde yüzde 95,1'e, çok turlu sohbetlerde yüzde 90,3'e çıkıyor. Hem COMPINT paketi hem de çıkarıcı modül GitHub'da açık kaynak olarak yayımlanmış.

Sıkıştırma neden yapılıyor?

Bağlam sıkıştırma bir hata değil, bilinçli bir tasarım tercihi. Modellerin bir seferde işleyebildiği metin miktarı sınırlı ve bu metnin her turda yeniden gönderilmesi hem gecikmeyi hem faturayı büyütüyor. Uzun bir oturumda geçmişi olduğu gibi taşımak yerine özetlemek, maliyeti makul tutmanın standart yolu. Sorun, özetleyicinin neyin önemli olduğuna karar verirken içerik ile kural arasındaki farkı gözetmemesi: bir toplantı notunu korurken "önce onay al" cümlesini gereksiz ayrıntı sayabiliyor.

Neden bu bir güvenlik konusu?

Kaybolan bir kural, çıktı biçiminin bozulmasından ibaret kalmayabilir. Araştırmanın altını çizdiği riskler somut: ajan yetkisiz araç çağrısı yapabilir, paylaşılmaması istenen bilgiyi ifşa edebilir, zorunlu tutulan bir doğrulama adımını atlayabilir.

Bunu şöyle düşünün: bir muhasebe ajanına sabah "hiçbir ödemeyi bana sormadan onaylama" dediniz. Öğleden sonra, aynı oturumda kırkıncı adımda, o cümle özetin içinde eriyip gitti. Model kötü niyetli değil; kuralı artık görmüyor.

Kendi ajanlarınızda ne yapmalısınız?

Bu bulgunun pratik karşılığı net: kritik kuralları sohbet geçmişine emanet etmeyin.

Dört somut önlem sıralayabiliriz. Kuralları her turda sistem mesajına yeniden basın; özetleme geçmişi kısaltsa da sistem mesajı yerinde kalır. Gerçekten kritik olan kısıtları prompt'a değil koda gömün: onay gerektiren bir işlem, model "unutsa" bile araç seviyesinde izin kontrolüne takılmalı. Uzun oturumları bölün; kırk adımlık tek bir oturum yerine, her biri kendi kurallarıyla başlayan daha kısa görevler kurun. Son olarak kayıtlara denetim ekleyin: ajanın yaptığı işlemlerin kural listesiyle uyumunu ölçen basit bir kontrol, sessiz sapmayı erken yakalar.

Bu, ajan kuran her ekibin bugün uygulayabileceği bir liste; yeni bir model sürümü beklemeye gerek yok.

Kaynaklar: The Decoder