Teknik not
AI Ajanlarında Hafıza Zehirlenmesi: Sessiz ve Kalıcı Tehdit
Klasik prompt injection çoğunlukla mevcut konuşmayı hedefler. Hafıza zehirlenmesi ise RAG sistemleri, vektör veritabanları ve kalıcı kullanıcı profilleri üzerinden gelecekteki görevleri etkileyebilir. Bu nedenle sorun yalnızca model güvenliği değil; aynı zamanda veri kaynağı, bellek yazma politikası, yetkilendirme ve denetim problemidir.
AI ajanlarında hafıza zehirlenmesi nedir?
Hafıza zehirlenmesi, güvenilmeyen veya manipüle edilmiş bir bilginin ajan tarafından kalıcı ya da yarı kalıcı belleğe kaydedilmesi ve daha sonra güvenilir bir gerçekmiş gibi kullanılmasını amaçlayan saldırıdır. Zehirli kayıt ilk anda zararsız görünebilir. Asıl etki, belirli bir konu, kullanıcı veya araç çağrısı gündeme geldiğinde ortaya çıkar.
Bir ajan için riskli yaşam döngüsü genellikle şöyledir:
- Oku: Ajan bir web sayfası, belge, e-posta veya araç çıktısını işler.
- Hatırla: İçeriğin bir bölümünü özetleyerek uzun süreli belleğe yazar.
- Geri çağır: Benzer bir görev geldiğinde semantik aramayla bu kaydı bulur.
- Eyleme dönüştür: Bellekteki bilgiyi yanıt, kod değişikliği veya araç çağrısında kullanır.
Kritik nokta şudur: Ajanın belleğine yazılan veri ile sistem talimatı aynı güven düzeyinde değerlendirilmemelidir. “Hatırlanan” her şey doğru, güncel veya güvenli değildir.
Neden klasik prompt injection’dan daha tehlikeli?
| Özellik | Prompt injection | Hafıza zehirlenmesi |
|---|---|---|
| Etki süresi | Genellikle mevcut oturum | Oturumlar ve görevler boyunca kalıcı olabilir |
| Hedef | Anlık model bağlamı | Uzun süreli bellek veya bilgi tabanı |
| Tetiklenme | İçerik okunurken | Saatler ya da günler sonra, uygun sorguda |
| Tespit | Şüpheli komut aynı bağlamda görülebilir | Zehirli kayıt, kaynağından kopmuş bir özet gibi görünebilir |
Gecikmeli tetiklenme, olayın kök nedenini bulmayı zorlaştırır. Ajan bugün hatalı bir işlem yaptığında, sebep geçen hafta okuduğu bir destek kaydı olabilir. Bellek kaydında kaynak ve sürüm bilgisi yoksa bu bağlantı kolayca kaybolur.
2026 araştırmaları ne söylüyor?
Hidden in Memory çalışması, “uyuyan” zehirli anıların daha sonra tetiklenebildiğini gösteriyor. Araştırmacıların deneylerinde zehirli kayıtların belleğe eklenme oranı bazı modellerde yüzde 95’in üzerine çıktı; başarılı şekilde geri çağrılan örneklerin yüzde 60–89’u saldırganın amaçladığı davranışla sonuçlandı.
When Agents Remember Too Much çalışması da bellek yazma aşaması ile geri çağırma aşamasının ayrı ayrı korunması gerektiğini savunuyor. Önerilen yaklaşım, şüpheli içeriğin belleğe kaydını sınırlıyor ve geri çağrılan kayıtları kullanılmadan önce yeniden tarıyor.
Daha erken tarihli AgentPoison araştırmasında ise çok düşük oranda zehirlenmiş kayıtla yüzde 80’in üzerinde saldırı başarısı raporlandı. Bu oranlar kontrollü deneylere ve kullanılan sisteme özgüdür; her gerçek uygulamada aynı sonucu garanti etmez. Yine de az sayıdaki kötü kaydın büyük etki yaratabilmesi, savunmanın neden kayıt sayısına değil güven zincirine odaklanması gerektiğini açıkça gösteriyor.
Hangi AI sistemleri daha fazla risk altında?
- RAG destekli müşteri hizmetleri botları: Destek kayıtları veya yüklenen dokümanlar otomatik olarak bilgi tabanına ekleniyorsa.
- Kodlama ajanları: Depo dosyalarını, issue içeriklerini ve terminal çıktılarını gelecekte kullanmak üzere hatırlıyorsa.
- E-posta ve takvim asistanları: Mesajlardan kişi tercihleri, ödeme bilgileri veya işlem kuralları çıkarıyorsa.
- Otonom iş akışı ajanları: Bellekten aldığı bilgiyle dosya silme, mesaj gönderme veya hesap değiştirme gibi araçlar çalıştırabiliyorsa.
- Kişiselleştirilmiş asistanlar: Kullanıcı profili ile dış kaynaklardan gelen veriyi aynı bellek alanında tutuyorsa.
Risk, ajanın yalnızca metin üretmesiyle değil, hatırladığı bilgiye dayanarak ne yapabildiğiyle büyür. Bellek erişimi ile araç yetkisi birleştiğinde küçük bir veri bütünlüğü problemi gerçek bir işleme dönüşebilir.
7 katmanlı savunma kontrol listesi
1. Her bellek kaydına kaynak ve güven etiketi ekleyin
Kayıt; kaynak URL’si, oluşturan kullanıcı, zaman damgası, sürüm ve güven düzeyiyle saklanmalı. Ajan, kaynağı bilinmeyen bir özeti doğrulanmış şirket politikasıyla aynı seviyede görmemeli.
2. Belleğe yazmayı açık bir politikaya bağlayın
Modelin “önemli göründüğü için” her bilgiyi kaydetmesine izin vermeyin. Hangi veri türlerinin yazılabileceğini, ne kadar süre tutulacağını ve kim tarafından onaylanacağını kurallarla belirleyin. Parola, erişim anahtarı ve ödeme verileri hiçbir zaman serbest metin belleğine girmemeli.
3. Güvenilmeyen kayıtları karantinaya alın
Dış web, e-posta ve kullanıcı yüklemelerinden türetilen kayıtları doğrulanmış bellekten ayırın. Karantinadaki veri aramada bulunabilir; fakat kritik bir kararı tek başına yönlendiremez.
4. Kritik bilgilerde iki kaynak kuralı uygulayın
Ödeme hesabı, dağıtım hedefi, güvenlik politikası veya yönetici talimatı gibi bilgiler için bağımsız ikinci bir kaynak isteyin. Bellek kaydı ile yetkili sistem kaydı çelişiyorsa işlem durmalı.
5. Geri çağırma anında yeniden tarayın
Yazma sırasında yapılan kontrol tek başına yeterli değildir. Bellekten getirilen metni prompt injection kalıpları, beklenmeyen talimatlar, kaynak tutarsızlığı ve güncellik açısından tekrar inceleyin. OWASP Prompt Injection Prevention Cheat Sheet, güvenilmeyen içeriği talimatlardan ayırmayı ve çıktıyı doğrulamayı öneriyor.
6. Araçlara en az yetki verin
Bellekteki bir kayıt, yüksek etkili işlemleri otomatik onaylayamamalı. Silme, para transferi, harici mesaj gönderimi ve yetki değişikliği gibi eylemler için açık kullanıcı onayı veya ikinci bir güvenlik katmanı kullanın.
7. Sürümleme, süre sonu ve geri alma ekleyin
Bellek değişikliklerini denetlenebilir bir günlükte tutun. Kayıtların yaşam süresi olsun; eski veya çelişkili bilgiler otomatik olarak yeniden doğrulansın. Bir olayda hangi kaydın hangi yanıtı etkilediği görülebilmeli ve zehirli sürüme hızla geri alınabilmeli.
Geliştiriciler için kısa test planı
AI ajan güvenliğini yalnızca “yasaklı bir komutu reddetti mi?” sorusuyla ölçmeyin. Aşağıdaki senaryoları ayrı test edin:
- Güvenilmeyen bir belgede yer alan talimat belleğe yazılıyor mu?
- Şüpheli kayıt yeni bir oturumda ve gecikmeli bir sorguda geri geliyor mu?
- Bellek ile yetkili veri kaynağı çeliştiğinde hangisi kazanıyor?
- Tek bir bellek kaydı yüksek etkili araç çağrısını başlatabiliyor mu?
- Kayıt silindiğinde türetilmiş özetler, önbellekler ve vektörler de temizleniyor mu?
- Olay günlüğü, kullanılan bellek kaydından nihai eyleme kadar iz sürmeye izin veriyor mu?
OWASP LLM04:2025, veri kaynağı doğrulaması, sandbox kullanımı, anomali tespiti ve erişim kontrolünü temel azaltım yöntemleri arasında sayıyor. Bu kontroller, ajan belleğinde de birlikte uygulanmalı.
Sık sorulan sorular
RAG zehirlenmesi ile hafıza zehirlenmesi aynı mı?
Tam olarak değil. RAG zehirlenmesi çoğunlukla ortak bilgi tabanındaki belgeleri hedefler. Hafıza zehirlenmesi; konuşma özetleri, kullanıcı tercihleri ve ajanın kendi oluşturduğu uzun süreli kayıtları da kapsar. İki saldırı alanı kesişebilir.
Vektör veritabanını salt okunur yapmak yeterli mi?
Salt okunur erişim, çalışma anındaki izinsiz yazmayı azaltır; ancak veri alım hattı zaten zehirli içerik ekliyorsa sorunu çözmez. Kaynak doğrulama, yazma politikası ve geri çağırma kontrolü yine gereklidir.
Modeli değiştirmek sorunu çözer mi?
Hayır. Daha güçlü bir model şüpheli içeriği daha iyi ayırt edebilir, fakat bellek mimarisi ve araç yetkileri güvensizse tek başına yeterli değildir. Hafıza zehirlenmesi sistem seviyesinde ele alınmalıdır.
Sonuç: Bellek, ajanların yeni güven sınırıdır
AI ajanları daha uzun süre hatırladıkça daha kullanışlı hâle geliyor; aynı nedenle daha geniş bir saldırı yüzeyi de oluşuyor. Güvenli tasarımın temel ilkesi basit: Bir bilginin bellekte bulunması, onun doğru veya yetkili olduğu anlamına gelmez.
Kaynak takibi, kontrollü bellek yazımı, geri çağırma taraması ve en az yetkili araç kullanımı birlikte uygulandığında risk önemli ölçüde azalır. Yapay zeka güvenliği ve yeni ajan mimarileriyle ilgili diğer içerikler için Yapay Zeka kategorisini takip edebilirsiniz.