NPR Testi: 6 Chatbot Propagandayı Dörtte Üç Oranında Çürüttü

Altı büyük sohbet botu, yabancı devlet propagandası karşısında beklenenden dirençli çıktı. NPR ve NewsGuard'ın ortak testinde Günlük bilgi aramasının giderek büyüyen bir bölümünü karşılayan altı ürüne, yani ChatGPT, Gemini, Copilot, Meta AI, Grok ve Claude'a Rusya, Çin ve İran kaynaklı sahte anlatılar soruldu; botlar bu anlatıları yaklaşık dörtte üç oranında doğru şekilde çürüttü.

Sonuç, “chatbot dediğin dezenformasyon makinesidir” klişesini en azından bu örneklemde doğrulamıyor.

Test nasıl kuruldu?

NewsGuard, Aralık 2025 ile Temmuz 2026 arasında dolaşıma giren 15 sahte anlatıyı seçti ve bunlardan 30 soru üretti. NPR muhabirleri ile NewsGuard araştırmacıları testi Temmuz ortasında altı bot üzerinde çalıştırdı. Anlatılar üç devletin etki operasyonlarından geliyordu; ölçülen şey, botun anlatıyı tekrar mı ettiği yoksa çürütüp doğru bağlamı mı verdiğiydi.

Ölçek konusunda dürüst olalım: 30 soru ve tek tur, bilimsel bir örneklem değil, gazetecilik testi. Değeri şurada: aynı sorular aynı dönemde altı ürüne birden sorulduğu için tablo karşılaştırmalı okunabiliyor. NPR bot bot bir sıralama da vermiyor; bulgular toplu bir karneye bağlanıyor.

Karnede neler var?

Dörtte üçlük doğru çürütme oranını NPR'ın görüştüğü dijital okuryazarlık uzmanı, eğitim ortamında “mükemmel” sayılacak bir not olarak yorumluyor. Zayıf anlar da kayda geçmiş: Claude, bir anlatıyı çürütemediği durumlarda yanıtlarında devlet bağlantılı kaynaklara diğerlerinden daha sık yer vermiş.

Bu detay önemsiz değil: çürütmenin başarısız olduğu anda botun hangi kaynaklara uzandığı, hatanın küçük mü kalacağını yoksa büyüyerek mi yayılacağını belirliyor.

Asıl kötü karne sohbet botlarının değil. Arama motorlarının yapay zeka özetleri testte belirgin biçimde daha kötü performans göstermiş; Bing'in özetleri en zayıf halka olurken Google'ın AI Overview'u ondan daha iyi bulunmuş.

Asıl zayıf halka neresi?

Bu sonucun bize göre en önemli çıktısı şu: bilgiye sohbet botundan ulaşan kullanıcı, arama özetinden ulaşana göre daha isabetli cevap alıyor; oysa milyonlarca insan gündelik bilgiyi hâlâ arama özetlerinden okuyor. İşletmeler için iki pratik sonuç var. Birincisi, markanız ya da sektörünüz hakkında yanlış bir bilgi dolaşıma girdiğinde bunun arama özetlerine sızması, sohbet botlarına sızmasından daha olası; kendi alanınızdaki kritik sorgularda ne göründüğünü ara sıra kontrol edin. İkincisi, şirket içi kullanım için ölçü: dörtte üç iyi bir oran ama dörtte bir hâlâ büyük bir boşluk; kaynak göstermeyen cevaba teyitsiz güvenmeyin. Türkçe için ayrıca temkinli olun: test İngilizce dolaşımdaki anlatılarla yapıldı; daha az denetlenen dillerde botların dayanacağı güvenilir kaynak havuzu küçülür, eli zayıflar. Kendi sitesine chatbot koyan şirketler için de not: bota kaynak gösterme zorunluluğu eklemek, bu tür testlerde farkı yaratan en basit önlemdir.

Kaynaklar: NPR