Hızlı cevap: Adversarial ML (düşmanca makine öğrenmesi), yapay zeka modellerini kasıtlı olarak hazırlanmış girdilerle yanıltma çalışmasıdır. En bilinen türü kaçınma (evasion) saldırısıdır: çıkarım anında girdiye insanın fark edemeyeceği küçük değişiklikler eklenerek model yanlış karar vermeye zorlanır. Örneğin bir görüntüye eklenen görünmez bozulma, sınıflandırıcının bir nesneyi tamamen yanlış tanımasına yol açabilir. Bu, veri zehirlenmesinden farklıdır: zehirlenme eğitimde, kaçınma çıkarımda gerçekleşir.

Adversarial saldırılar nasıl çalışır?

Makine öğrenmesi modelleri, girdideki desenleri insan gibi değil matematiksel olarak değerlendirir. Bu, saldırgana bir fırsat verir: modelin karar sınırını inceleyip, girdide çok küçük ama hedefli değişiklikler yaparak modeli kandırabilir. İnsan gözünün ayırt edemeyeceği bu değişiklikler, model için kararı tersine çevirecek kadar etkilidir.

Bu saldırıların tehlikesi, girdinin normal görünmesidir. Bir güvenlik kamerasının nesne tanıma modeli, dolandırıcılık tespit modeli ya da içerik filtresi, düşmanca bir girdiyle sessizce atlatılabilir. Saldırı belirgin bir hata üretmez, sadece yanlış karar verdirir.

Eğitim zamanı ve çıkarım zamanı saldırıları

Tür Ne zaman Nasıl
Veri zehirlenmesi Eğitim sırasında Eğitim verisine kötü örnek sokma
Kaçınma (evasion) Çıkarım sırasında Girdiyi hedefli değiştirip modeli yanıltma
Model çıkarımı Çıkarım sırasında Sorgularla model ya da veriyi geri elde etme

Bu ayrım savunmayı belirler. Zehirlenme, eğitim verisinin bütünlüğüyle önlenir. Kaçınma ise çalışan modelin dayanıklılığıyla (robustluk) ilgilidir.

Kaçınma saldırılarına karşı savunma

  1. Modeli düşmanca örneklerle eğiterek dayanıklılığını artırın (adversarial training).
  2. Girdi doğrulama ve aykırılık tespiti ile olağandışı girdileri yakalayın.
  3. Model çıktısındaki ani güven düşüşlerini ve tutarsızlıkları izleyin.
  4. Kritik kararları tek bir modele bırakmayın, insan denetimi ya da ikinci bir kontrol ekleyin.
  5. Model API'sine hız sınırı koyarak saldırganın karar sınırını sondalamasını zorlaştırın.

KAOS ve DSET yaklaşımı

DSET, makine öğrenmesi modellerinin düşmanca saldırılara dayanıklılığını yetkili biçimde test eder ve kaçınma yollarını kanıta bağlar. Özellikle güvenlik kararı veren modellerde (dolandırıcılık tespiti, içerik filtresi, nesne tanıma) bu testler kritiktir. Geliştirdiğimiz KAOS güvenlik motoru, modelin girdiyle yanıltılıp yanıltılamayacağını değerlendirir. Amacımız teorik bir risk değil, modelin gerçekten atlatılabilir olup olmadığını göstermektir.

Bağlantılı okumalar: yapay zeka veri zehirlenmesi, OWASP makine öğrenmesi güvenliği Top 10, yapay zeka model güvenliği ve model çalma, MITRE ATLAS yapay zeka tehdit matrisi, MLSecOps makine öğrenmesi hattı güvenliği, açıklanabilir yapay zeka.

Sık sorulan sorular

Adversarial saldırı ile veri zehirlenmesi aynı şey mi? Hayır. Veri zehirlenmesi eğitim aşamasında olur: saldırgan eğitim verisine kötü örnekler sokarak modeli baştan bozar. Kaçınma (evasion) gibi düşmanca saldırılar ise çıkarım aşamasında olur: model zaten eğitilmiştir, saldırgan girdiyi hedefli değiştirerek onu anlık olarak yanıltır. İkisinin savunması da farklıdır.

Küçük bir girdi değişikliği modeli gerçekten kandırır mı? Evet, ve tehlikeli olan da budur. Makine öğrenmesi modelleri girdiyi matematiksel olarak değerlendirdiği için, insan gözünün fark edemeyeceği kadar küçük ama hedefli bir bozulma, modelin kararını tamamen tersine çevirebilir. Girdi normal göründüğü için saldırı da sessiz kalır.

Hangi modeller adversarial saldırıya açık? Prensipte tüm makine öğrenmesi modelleri bir dereceye kadar açıktır, ama en kritik olanlar güvenlik kararı verenlerdir: dolandırıcılık tespiti, içerik moderasyonu, biyometrik tanıma ve nesne tanıma. Bu modeller atlatıldığında doğrudan güvenlik sonucu doğar, bu yüzden dayanıklılıkları test edilmelidir.

Kaynaklar

Güvenlik kararı veren modellerinizin düşmanca saldırılara dayanıklılığını test etmek için Ankara Hacettepe Teknokent'teki ekibimizle görüşebilirsiniz. DSET ile iletişime geçin.