Hızlı cevap: Çok modlu prompt injection, görüntü, ses veya belge gibi metin dışı bir girdiye gizli bir talimat gömerek çok modlu bir yapay zekâ modelini kandırma saldırısıdır. Örneğin bir resmin içine gözle görülmeyen ama modelin okuyabileceği bir metin yerleştirildiğinde, model o metni kullanıcının talimatı sanıp davranışını değiştirir. Bu saldırı tehlikelidir çünkü güvenlik filtreleri çoğunlukla yazılı prompt'u denetler, görsele veya belgeye gömülü talimatı gözden kaçırır. DSET bu açığı yerel yapay zekâ motoru KAOS ile test eder ve her bulguyu çalışan bir kanıtla doğrular.

Yapay zekâ modelleri artık yalnızca metinle çalışmıyor. Bir modele bir fatura fotoğrafı verip tutarını çıkartmasını, bir ekran görüntüsünü yorumlamasını ya da bir ses kaydını yazıya dökmesini isteyebiliyoruz. Bu çok modlu yetenek büyük kolaylık sağlar, ama yeni bir saldırı kapısı açar: artık modele giren tehlikeli talimat yalnızca yazılı metinde değil, bir resmin piksellerinde veya bir belgenin görünmez katmanında da olabilir. Bu yazı, çok modlu prompt injection'ın ne olduğunu, hangi senaryoları doğurduğunu ve DSET ile KAOS yaklaşımını anlatır.

Çok modlu prompt injection nedir

Klasik prompt injection, modele gönderilen yazılı metne zararlı bir talimat eklemektir. Çok modlu prompt injection bunun bir adım ötesidir: talimat, modelin işlediği metin dışı bir girdiye gömülür. Bir görüntü modeli bir resmin içindeki yazıyı okuyabildiği için, saldırgan resme insan gözünün fark etmediği ama modelin algıladığı bir metin yerleştirebilir, örneğin arka planla neredeyse aynı renkte soluk bir yazı. Model bu yazıyı görür ve çoğu zaman bir talimat gibi işler. Aynı mantık, modelin yüklediği belgelere gömülü gizli metinler ve ses kayıtlarına karıştırılmış komutlar için de geçerlidir.

Hangi senaryoları doğurur

Talimatın nereye gömüldüğü ve modelin o girdiyi nasıl kullandığı, saldırının sonucunu belirler.

Gömme kanalı Nasıl çalışır Tipik sonuç
Görsele gizli metin Resme görünmez veya soluk yazı eklenir Model talimatı değiştirir, veri sızdırır
Belgeye gömülü yönerge Yüklenen belgeye gizli komut konur Dolaylı komut enjeksiyonu
Ekran görüntüsü üzerinden Ajanın gördüğü arayüze sahte talimat basılır Ajan istenmeyen işlem yapar
Ses kaydına karışan komut İnsana anlamsız gelen ses modelce komut algılanır Sesli asistanın kandırılması
QR veya kod içinde Taranan koda talimat gömülür Otomatik iş akışının yönlendirilmesi

Tablonun özü şu: çok modlu modellerde her girdi kanalı aynı zamanda bir talimat kanalıdır ve savunma yalnızca yazılı prompt'u denetlerse açık kanalı açık kalır. Bu saldırı, saldırganın içeriği doğrudan değil dolaylı olarak kontrol ettiği durumlarda özellikle tehlikelidir; bu dolaylı saldırı mantığı prompt injection ve OWASP LLM Top 10 konusunun doğal bir uzantısıdır.

Neden klasik filtreler yetersiz kalır

Çoğu yapay zekâ güvenlik katmanı, kullanıcının yazdığı metni tarar ve zararlı kalıpları yakalamaya çalışır. Ama çok modlu bir saldırıda talimat yazılı metinde değildir, bir görüntünün piksellerinde veya bir belgenin bir katmanındadır. Filtre bu kanalı denetlemiyorsa, saldırı onun yanından geçer. Bu yüzden çok modlu bir sistemin güvenlik duvarının her girdi türünü, görüntü ve belge dahil, çözümleyip denetlemesi gerekir; bu katmanın tasarımı için yapay zekâ güvenlik duvarı ve guardrails başvuru noktasıdır.

Ajan sistemleriyle ilişkisi

Çok modlu prompt injection, bir modelin yalnızca cevap ürettiği değil, ekranı görüp işlem yaptığı ajan sistemlerinde çok daha tehlikelidir. Bir ekran görüntüsüne basılan sahte bir talimat, geniş yetkili bir ajanı istenmeyen bir işleme yönlendirebilir. Bu risk, LLM ajanlarında aşırı yetki ve araç kötüye kullanımı konusuyla doğrudan bağlantılıdır, çünkü sorun yalnızca modelin kandırılması değil, kandırıldıktan sonra ne kadar güçlü bir işlem yapabildiğidir. Saldırı tekniklerinin haritalanması için MITRE ATLAS yapay zekâ tehdit matrisi de bu alanda yararlı bir çerçevedir.

Ne zaman test edilir

Doğru pratik, görüntü, belge veya ses işleyen her yapay zekâ özelliği yayına çıkmadan önce test yapmaktır. Özellikle kullanıcıların dosya veya görsel yükleyebildiği, modelin de bu girdilere göre işlem yaptığı akışlar yüksek risklidir. Kapsamın net çizilmesi için sızma testine hazırlık ve kapsam belirleme rehberi başvuru noktasıdır.

KAOS ve DSET yaklaşımı

DSET, çok modlu prompt injection açığını daha geniş yapay zekâ ve LLM uygulama sızma testi hizmetinin parçası olarak, yerel yapay zekâ motoru KAOS ile test eder. KAOS, modele verilen görsel ve belge girdilerine kontrollü gizli talimatlar yerleştirir ve modelin bu talimatları işleyip işlemediğini sınar. Bulduğu her açığı kanıt temelli doğrulama ilkesiyle, çalışan bir kanıtla raporlar. Fark şudur: bir görselin teorik olarak riskli olduğunu söylemekle yetinilmez, o görselin modeli gerçekten istenmeyen bir davranışa yönelttiği gösterilir.

Sık sorulan sorular

Çok modlu saldırı gerçek bir tehdit mi yoksa laboratuvar merakı mı? Gerçek bir tehdittir. Görüntü ve belge işleyen yapay zekâ özellikleri hızla yaygınlaşıyor ve bu özellikler kullanıcıların yüklediği içeriğe göre işlem yapıyor. Saldırganın tek yapması gereken, zararsız görünen bir dosyaya gizli bir talimat gömmektir. İçeriğin kullanıcı tarafından yüklendiği her senaryo bu riske açıktır.

Görsele gömülü talimatı gözle göremiyorsak nasıl savunuruz? Savunma, görseli insan gözüyle değil, modelin algıladığı biçimde çözümlemekten geçer. Güvenlik katmanı, görüntüdeki metni modelin okuduğu gibi çıkartıp denetlemeli ve modele giden her girdiyi güvenilmez kabul etmelidir. Ayrıca model çıktısının yol açtığı işlemler, güvensiz çıktı işleme ilkeleriyle ayrıca sınırlandırılmalıdır.

Bu saldırı sadece görüntü modellerini mi etkiler? Hayır. Görüntü en görünür örnektir ama aynı mantık belge, ses ve modelin işlediği her metin dışı girdi için geçerlidir. Genel ilke şudur: model hangi kanaldan veri alıyorsa, o kanal aynı zamanda bir saldırı kanalıdır ve ayrı ayrı test edilmelidir.

Kaynaklar

Çok modlu yapay zekâ özelliklerinizi kanıt temelli bir testle incelemek için DSET ile iletişime geçin. Ankara Hacettepe Teknokent laboratuvarımızdan yapay zekâ uygulama sızma testi ve danışmanlık sağlıyoruz.