Hızlı cevap: Yapay zekâ ve büyük dil modeli (LLM) uygulama sızma testi, bir kurumun yapay zekâ destekli uygulamalarının, sohbet botlarının ve ajan sistemlerinin kendine özgü açıklarını ortaya çıkaran bir güvenlik hizmetidir. Bu uygulamaların en sık açığı bilgi istemi enjeksiyonudur (prompt injection): bir saldırgan, modele verilen talimatı ele geçirerek sistemi amacının dışına yönlendirir. Diğer riskler, hassas veri sızıntısı, yetkisiz araç çağrısı ve eğitim verisi zehirlenmesidir. DSET bu testi yerel yapay zekâ motoru KAOS ile yürütür ve her bulguyu çalışan bir kanıtla doğrular.

Yapay zekâ uygulamaları hızla yayıldı, ama güvenlik testleri çoğu zaman geride kaldı. Bir dil modeli uygulaması, klasik bir web uygulamasının tüm açıklarını taşır ve üstüne kendine özgü yeni bir saldırı yüzeyi ekler. Yapay zekâ uygulama sızma testi, bu yeni yüzeyi bir saldırgan gözüyle inceleyen bir hizmettir. Bu yazı, LLM sızma testinin ne olduğunu, hangi açıkları hedeflediğini ve DSET ile KAOS yaklaşımını anlatır.

Yapay zekâ uygulama sızma testi nedir

Yapay zekâ uygulama sızma testi, bir dil modeli üzerine kurulu uygulamanın, sohbet botunun veya ajan sisteminin açıklarını kontrollü saldırılarla test eder. Amaç, bir saldırganın modele verilen talimatı ele geçirip geçiremeyeceğini, modelin erişmemesi gereken veriye erişip erişmediğini ve modele bağlı araçların kötüye kullanılıp kullanılamadığını kanıtlamaktır. Bu testin çerçevesi OWASP LLM Top 10 listesidir; ayrıntı için bilgi istemi enjeksiyonu ve OWASP LLM Top 10 kaynağı başvuru noktasıdır.

Hangi açıkları hedefler

Dil modeli uygulamalarının açıkları, klasik yazılım açıklarından farklı bir mantık taşır: saldırı çoğu zaman kodda değil, modele verilen dilde gerçekleşir.

Açık sınıfı Ne anlama gelir Tipik sonuç
Bilgi istemi enjeksiyonu Saldırgan modelin talimatını ele geçirir Sistem amacı dışına çıkar
Hassas veri ifşası Model gizli veriyi yanıtında döndürür Veri sızıntısı
Yetkisiz araç çağrısı Modele bağlı araç kötüye kullanılır İzinsiz işlem, yetki aşımı
Aşırı yetki Ajan gereğinden fazla yetkiyle çalışır Geniş etki alanı
Dolaylı enjeksiyon Zararlı talimat dış içerikten gelir Gizli yönlendirme

Tablonun özü şudur: bir dil modeli uygulamasında saldırı yüzeyi hem klasik yazılım katmanını hem de modele verilen dilin kendisini kapsar. Klasik katmanın testi için web uygulaması sızma testi metodolojisi, modele bağlı arka uç arayüzleri için ise API sızma testi hizmetimiz tamamlayıcıdır.

Ajan sistemleri neden daha riskli

Bir dil modeli yalnızca metin ürettiğinde risk sınırlıdır; ama modele araçlar bağlandığında, yani model e-posta gönderebildiğinde, kod çalıştırabildiğinde veya bir veritabanına erişebildiğinde, bir bilgi istemi enjeksiyonu doğrudan bir eyleme dönüşür. Ajan sistemlerinin testi bu yüzden iki soruya odaklanır: model hangi araçlara erişiyor ve bir saldırgan bu araçları modele hangi dille çağırtabilir? Bir bulgu doğrulandıktan sonra düzeltmenin gerçekten işe yaradığını görmek için yeniden test ve remediation doğrulaması gerekir.

KAOS ve DSET yaklaşımı

DSET, yapay zekâ uygulama sızma testini yerel yapay zekâ motoru KAOS ile yürütür. DSET bu alanda hem bir savunma tarafını hem de bir saldırı tarafını deneyimlemiştir; çünkü KAOS'un kendisi bir yapay zekâ sistemidir ve geliştirme sürecinde bilgi istemi enjeksiyonuna ve kötüye kullanıma karşı sertleştirilmiştir. KAOS, bir uygulamanın modele verdiği talimatı farklı enjeksiyon yöntemleriyle sınar, hassas veri sızıntısını ve yetkisiz araç çağrısını test eder ve bulduğu her açığı çalışan bir kanıtla, kanıt temelli doğrulama ilkesiyle raporlar. Fark şudur: bir saldırının teorik olarak mümkün olduğunu söylemekle yetinilmez, gerçek bir istismarla kanıtlanır.

Sık sorulan sorular

Bilgi istemi enjeksiyonu gerçekten ciddi bir risk mi? Evet, ve ne kadar araç modele bağlıysa o kadar ciddidir. Model yalnızca metin ürettiğinde bir enjeksiyonun etkisi sınırlıdır. Ama model e-posta gönderebildiğinde, bir veritabanına erişebildiğinde veya bir işlemi tetikleyebildiğinde, bir enjeksiyon doğrudan bir eyleme dönüşür. Bu yüzden risk, modelin değil, modele verilen yetkinin büyüklüğüyle artar.

Hazır bir model kullanıyorum, yine de test gerekir mi? Evet. Risk çoğu zaman modelin kendisinde değil, modeli saran uygulamada ve ona verilen yetkide bulunur. Hazır bir model kullansanız bile, o modele hangi veriyi verdiğiniz, hangi araçları bağladığınız ve kullanıcı girdisini nasıl ilettiğiniz sizin sorumluluğunuzdadır. Testin asıl konusu da bu uygulama katmanıdır.

Bu test klasik web sızma testinin yerini alır mı? Hayır, onu tamamlar. Bir yapay zekâ uygulaması, klasik bir web uygulamasının tüm açıklarını taşımaya devam eder; üstüne yalnızca yeni bir katman ekler. Bu yüzden eksiksiz bir test, hem klasik web ve API katmanını hem de modele özgü yeni saldırı yüzeyini birlikte kapsar.

Kaynaklar

Yapay zekâ destekli uygulamalarınızı, sohbet botlarınızı ve ajan sistemlerinizi kanıt temelli bir testle incelemek için DSET ile iletişime geçin. Ankara Hacettepe Teknokent laboratuvarımızdan yapay zekâ uygulama sızma testi ve danışmanlık sağlıyoruz.