Araştırmacılar Promptları Çıktı Metninden Geri Çözdü

Sistem promptunuz gizli bir bilgi değil. 12 Ağustos'ta duyurulan bir çalışma, bir dil modeline ne yazdığınızın yalnızca modelin ürettiği metne bakarak geri çözülebildiğini gösteriyor.

Araştırma IIT Bombay ve Adobe Research ekiplerine ait. Yöntemin adı Previous-Token Prediction, yani "önceki token tahmini". Dil modelleri normalde bir sonraki kelimeyi tahmin edecek şekilde eğitilir; buradaki fikir tam tersini yapan bir model eğitmek. Ters yöndeki model, hedef modelden üretilmiş sentetik veriyle eğitiliyor ve çıktıya bakıp girdiyi yeniden kuruyor.

Sonuçlar ne kadar iyi?

Yeterince rahatsız edici. Çalışmada bir prompt kelimesi kelimesine yeniden üretildi; model ayrıca aynı anlamı taşıyan altı farklı varyant da çıkardı.

Ölçek tarafı daha da dikkat çekici. Ters modelin eğitildiği model Qwen-3-0.6B, yani 600 milyon parametrelik küçük bir model. Buna rağmen GPT-4o çıktılarından promptları geri çözebildi. Yöntem hedef modelin ağırlıklarına erişim gerektirmiyor ve farklı mimariler arasında çalışabiliyor.

Yöntemin sınırlarını da söylemek gerekir. Ters model eğitilirken hedef modelden üretilmiş veriye ihtiyaç duyuluyor ve geri çözüm için elde yeterince çıktı metni olması gerekiyor. Tek bir kısa cümleden yola çıkıp uzun bir sistem promptunu çıkarmak beklenen bir sonuç değil. Ama kurumsal bir asistan günde binlerce cevap üretiyorsa, o metin zaten fazlasıyla mevcut.

Bu neden bir güvenlik meselesi?

Çünkü pek çok şirket rekabet avantajını doğrudan prompt içine yazıyor. Sistem promptunda genellikle şunlar bulunur: markanın konuşma kuralları, moderasyon politikaları, fiyat ve indirim mantığı, hangi soruların nasıl yanıtlanacağı, bazen de iç süreçlerin özeti.

Bunların bir kısmı sızdığında kimsenin umurunda olmaz. Markanın "nazik ve kısa cevap ver" talimatı ticari sır değildir. Ama "bu müşteri segmentine yüzde 15'e kadar indirim yetkin var" cümlesi promptun içindeyse, rakibinizin fiyat stratejinizi öğrenmesi için sisteme sızması gerekmiyor.

Bu çalışmanın söylediği şey şu: bu içeriğin sızması için sisteminize girilmesi gerekmiyor. Modelin ürettiği metni gören herkes, girdiyi yeniden inşa etmeye çalışabilir. Yayınladığınız bir yapay zeka çıktısı, arkasındaki talimatın kopyası hâline gelebilir.

Prompt bir davranış tarifidir. Kasa olarak kullanıldığında kapısı açık kalıyor.

Yarın sabah yapılacaklar

Türkiye'de kurumsal chatbot kuran ekiplerin çoğunda aynı alışkanlığı görüyoruz: iş kuralları tek bir uzun sistem promptuna yığılıyor, çünkü en hızlı yol bu. Değiştirilmesi gereken tam olarak bu.

• Fiyat mantığı, indirim yetkisi ve iş kurallarını prompta değil, arkadaki servise taşıyın. Kararı servis üretsin, model yalnızca sonucu aktarsın.
• Sözleşme metni, müşteri listesi, iç fiyat tablosu gibi verileri prompta gömmeyin; erişim kontrollü bir kaynaktan çağırın.
• Prompt sızarsa ne kaybederiz sorusunu bugün cevaplayın. Cevap "çok şey" ise mimariyi düzeltme zamanı gelmiş demektir.
• KVKK açısından da bakın: prompt içine yazılmış kişisel veri, sızma ihtimali olan bir işleme faaliyetidir.

Bu araştırma akademik bir yayın olarak duyuruldu ve amacı savunmayı güçlendirmek. Yöntem bilindikten sonra kimin eline geçeceği ise sizin kontrolünüzde olmayacak.

Kaynaklar: The Decoder, arXiv