Hızlı cevap: OWASP Makine Öğrenmesi Güvenliği Top 10, makine öğrenmesi sistemlerine yönelik en kritik on güvenlik riskini listeleyen bir referanstır. LLM uygulamalarına odaklanan OWASP LLM Top 10'dan farklıdır: bu liste modelin kendisini, eğitim verisini ve ML hattını hedef alan saldırıları kapsar. Girdi manipülasyonu, veri zehirlenmesi, model çalma ve model kaymasına kadar ML'e özgü riskleri savunma önerileriyle sıralar.

OWASP ML Top 10 neden ayrı bir liste?

OWASP'ın iki farklı AI güvenlik listesi vardır ve karıştırılır. LLM Top 10, ChatGPT benzeri büyük dil modeli uygulamalarına özgü riskleri (prompt injection, güvensiz çıktı gibi) kapsar. ML Security Top 10 ise daha geniş makine öğrenmesi sistemlerini, yani sınıflandırıcıları, tahmin modellerini ve onların eğitim hattını hedef alır.

Fark önemlidir çünkü bir görüntü sınıflandırıcısına ya da dolandırıcılık tespit modeline yönelik saldırılar, bir LLM chatbot'una yönelik saldırılardan farklıdır. Kurum hangi tür AI kullanıyorsa, ona uygun listeyi referans almalıdır.

Öne çıkan ML riskleri

Risk Açıklama
Girdi manipülasyonu (kaçınma) Çıkarım anında girdiyi değiştirip modeli yanıltma
Veri zehirlenmesi Eğitim verisine kötü örnek sokarak modeli bozma
Model tersine çevirme Çıktılardan eğitim verisini geri elde etme
Üyelik çıkarımı Bir verinin eğitim setinde olup olmadığını anlama
Model çalma API sorgularıyla modeli kopyalama
Tedarik zinciri saldırısı Hazır model ya da kütüphane üzerinden zafiyet

Bu riskler nasıl azaltılır?

Savunma, ML yaşam döngüsünün her aşamasına yayılır. Eğitim verisinin kaynağı ve bütünlüğü doğrulanmalı, model API'sine hız sınırı ve erişim kontrolü uygulanmalı, girdi doğrulama ile aykırı girdiler yakalanmalı ve model davranışı üretimde sürekli izlenmelidir. Ayrıca hazır (pretrained) modeller ve ML kütüphaneleri, tedarik zinciri riskine karşı imza ve köken doğrulamasıyla kullanılmalıdır.

KAOS ve DSET yaklaşımı

DSET, makine öğrenmesi sistemlerinin güvenlik denetiminde OWASP ML Top 10'u referans alır ve kurumun kullandığı AI türüne göre doğru listeyi uygular. Geliştirdiğimiz KAOS güvenlik motoru, ML API'lerinde model çalma ve girdi manipülasyonu gibi riskleri kanıta dayalı değerlendirir. Amacımız genel bir kontrol listesi değil, o modele özgü gerçek saldırı yolunu göstermektir.

Bağlantılı okumalar: prompt injection ve OWASP LLM Top 10, yapay zeka veri zehirlenmesi, yapay zeka model güvenliği ve model çalma, adversarial ML ve kaçınma saldırıları, MLSecOps makine öğrenmesi hattı güvenliği, MITRE ATLAS yapay zeka tehdit matrisi.

Sık sorulan sorular

OWASP ML Top 10 ile LLM Top 10 farkı nedir? LLM Top 10, büyük dil modeli uygulamalarına (chatbot, asistan) özgü riskleri kapsar; prompt injection ve güvensiz çıktı gibi. ML Security Top 10 ise sınıflandırıcı, tahmin modeli gibi genel makine öğrenmesi sistemlerini ve eğitim hattını hedef alan saldırıları kapsar. Kurum hangi tür AI kullanıyorsa ona uygun listeyi referans almalıdır.

Üyelik çıkarımı saldırısı nedir? Üyelik çıkarımı (membership inference), bir saldırganın belirli bir verinin modelin eğitim setinde kullanılıp kullanılmadığını anlamaya çalışmasıdır. Bu bir gizlilik saldırısıdır: örneğin bir sağlık modelinde belirli bir hastanın verisinin eğitimde olduğunu ortaya çıkarmak, mahremiyet ihlalidir. Savunma için model çıktılarının aşırı güven bilgisi sızdırmaması gerekir.

Hazır bir model kullanmak risk taşır mı? Evet. İnternetten indirilen hazır (pretrained) modeller ve ML kütüphaneleri, tedarik zinciri riski taşır: içine arka kapı gömülmüş ya da zehirlenmiş olabilir. Bu yüzden model ve bağımlılıklar güvenilir kaynaktan, mümkünse imza ve köken doğrulamasıyla alınmalıdır.

Kaynaklar

Makine öğrenmesi sistemlerinizin OWASP ML Top 10 temelli güvenlik denetimi için Ankara Hacettepe Teknokent'teki ekibimizle görüşebilirsiniz. DSET ile iletişime geçin.