Hızlı cevap: Ajan hafıza zehirlenmesi, uzun süreli belleği olan bir yapay zekâ ajanının hafızasına zararlı bir kayıt yerleştirilerek sonraki kararlarının kalıcı olarak saptırılmasıdır. Ajan, geçmiş etkileşimleri hatırlamak için bir bellek deposu tutar ve her yeni kararında bu belleğe güvenir. Saldırgan bu belleğe sahte bir talimat veya yanlış bir gerçek sızdırabilirse, ajan o zehirli kaydı meşru bir anı gibi okur ve kötü kararı tekrar tekrar üretir. Bu, tek seferlik bir prompt injection'dan farklı olarak kalıcıdır. DSET bu açığı yerel yapay zekâ motoru KAOS ile test eder ve her bulguyu çalışan bir kanıtla doğrular.

Modern yapay zekâ ajanları yalnızca tek bir soruya cevap vermekle kalmaz, zamanla öğrenir ve hatırlar. Bir müşteri asistanı önceki konuşmaları, bir kişisel ajan kullanıcının tercihlerini, bir iş akışı ajanı geçmiş kararlarını bir bellekte saklar. Bu bellek ajanı daha akıllı yapar, ama aynı zamanda kalıcı bir saldırı hedefi oluşturur. Belleğe bir kez zararlı bir kayıt girerse, o kayıt silinene kadar ajanın her kararını zehirler. Bu yazı, ajan hafıza zehirlenmesinin ne olduğunu, hangi senaryoları doğurduğunu ve DSET ile KAOS yaklaşımını anlatır.

Hafıza zehirlenmesi nedir ve RAG'dan farkı

Hafıza zehirlenmesini çoğu zaman klasik veri tabanı saldırılarıyla karıştırırlar, oysa farkı önemlidir. Bir RAG sisteminde model, cevabı üretmek için bir bilgi bankasından ilgili belgeleri çeker, bunun güvenliği için RAG ve vektör veritabanı güvenliği konusu geçerlidir. Ajan belleği ise farklı bir şeydir: ajanın kendi geçmiş kararlarını, gözlemlerini ve kullanıcı tercihlerini sakladığı kalıcı bir not defteridir. RAG dışarıdan bilgi getirir, ajan belleği ise ajanın kendi iç durumunu taşır. Zehirleme bu iç duruma girdiğinde, ajan artık yanlış bir gerçeği kendi anısı olarak kabul eder ve bu çok daha sinsidir.

Hangi senaryoları doğurur

Zehirli kaydın nasıl girdiği ve nereye yayıldığı, saldırının etkisini belirler.

Zehirleme yolu Nasıl çalışır Tipik sonuç
Doğrudan bellek enjeksiyonu Kullanıcı etkileşimiyle sahte anı yazdırılır Ajan kalıcı olarak yanlış karar verir
Oturumlar arası sızma Bir oturumdaki zehir sonraki oturuma taşar Saldırı tek seferlik olmaktan çıkar
Kullanıcılar arası bulaşma Paylaşılan bellek bir kullanıcıdan diğerine sızar Bir kullanıcının zehri başkasını etkiler
Sahte gerçek yerleştirme Yanlış bir bilgi anı gibi kaydedilir Ajan yanlış veriye göre işlem yapar
Talimat gizleme Gelecekte tetiklenecek gizli komut saklanır Gecikmeli, zamanlanmış kötü davranış

Tablonun özü şu: hafıza zehirlenmesinde tehlike anlıktan çok kalıcıdır, çünkü bir kez belleğe giren zehir, sonraki her etkileşimde yeniden etki eder. Özellikle kullanıcılar arası bulaşma senaryosu kritiktir; bir kullanıcının belleğe soktuğu zehir başka bir kullanıcının oturumunu etkiliyorsa, bu RAG müşteri izolasyonu ve yetki iptali ile aynı izolasyon ilkesinin ajan belleğinde de gerekli olduğunu gösterir.

Oturum ve kullanıcı izolasyonu neden kritiktir

Çok kullanıcılı bir ajan sisteminde en tehlikeli senaryo, bir kullanıcının belleğine giren zehrin başka bir kullanıcının oturumuna sızmasıdır. Eğer ajan belleği kullanıcı bazında katı biçimde ayrılmamışsa, bir saldırgan kendi oturumuyla belleğe bir kayıt sokar ve bu kayıt başka bir kullanıcıya hizmet verirken ajanı yönlendirir. Bu yüzden ajan belleği tasarlanırken her kaydın hangi kullanıcıya, hangi oturuma ve hangi güven düzeyine ait olduğu izlenmeli, bellekten okuma yapılırken bu sınırlar uygulanmalıdır. İzolasyonun yanı sıra, belleğe yazılan her kaydın kaynağının güvenilirliği de değerlendirilmelidir.

Veri bütünlüğü ve zehirlenme ile ilişkisi

Ajan hafıza zehirlenmesi, daha geniş bir veri bütünlüğü sorununun agentic sistemlerdeki yüzüdür. Bir modelin eğitim verisine zararlı örnek sokmak nasıl modeli bozuyorsa, bir ajanın belleğine zararlı kayıt sokmak da ajanı bozar; bu paralellik için yapay zekâ veri zehirlenmesi ve model güvenliği konusu aydınlatıcıdır. Ayrıca zehirlenmiş bir belleğe güvenen ajan geniş yetkilerle işlem yapıyorsa risk katlanır, bu da LLM ajanlarında aşırı yetki konusuyla kesişir.

KAOS ve DSET yaklaşımı

DSET, ajan hafıza zehirlenmesini daha geniş yapay zekâ ve LLM uygulama sızma testi hizmetinin parçası olarak, yerel yapay zekâ motoru KAOS ile test eder. KAOS, ajanın belleğine kontrollü bir zehirli kayıt sokmayı dener, bu kaydın sonraki kararları etkileyip etkilemediğini sınar ve oturumlar ile kullanıcılar arası izolasyonun gerçekten uygulanıp uygulanmadığını test eder. Bulduğu her açığı kanıt temelli doğrulama ilkesiyle, çalışan bir kanıtla raporlar. Fark şudur: belleğin teorik olarak zehirlenebileceğini söylemekle yetinilmez, sokulan zehrin sonraki bir kararı gerçekten saptırdığı gösterilir.

Sık sorulan sorular

Hafıza zehirlenmesi prompt injection ile aynı şey mi? Hayır, ilişkili ama farklıdırlar. Prompt injection çoğu zaman tek bir etkileşimi etkiler, etkileşim bitince etkisi geçer. Hafıza zehirlenmesinde ise zararlı talimat belleğe kalıcı olarak yazılır ve sonraki her etkileşimde yeniden okunur. Yani prompt injection anlık, hafıza zehirlenmesi kalıcı bir saldırıdır. Çoğu zaman zehir, bir prompt injection ile belleğe sokulur.

Belleği sık sık temizlesem bu açık çözülür mü? Temizlik etkiyi azaltır ama kök çözüm değildir. Asıl çözüm, belleğe yazılan her kaydın kaynağını ve güven düzeyini değerlendirmek, kullanıcı ve oturum bazında katı izolasyon uygulamak ve belleğe güvenerek yapılan kritik işlemleri ek doğrulamaya tabi tutmaktır. Bellek temizliği bu katmanların yerine değil, yanına eklenir.

Küçük bir ajan uygulaması için bu risk abartı değil mi? Belleğin yetkisi ne kadarsa risk de o kadardır. Eğer ajanınız belleğine dayanarak işlem yapıyor, örneğin bir ödeme onaylıyor veya bir veriyi dışarı gönderiyorsa, belleğin zehirlenmesi doğrudan o işlemi saptırır. Uygulamanın küçük olması değil, ajanın belleğine ne kadar güvenip ne kadar güçlü işlem yaptığı önemlidir.

Kaynaklar

Yapay zekâ ajanlarınızın bellek güvenliğini kanıt temelli bir testle incelemek için DSET ile iletişime geçin. Ankara Hacettepe Teknokent laboratuvarımızdan yapay zekâ ajan sızma testi ve danışmanlık sağlıyoruz.