Hızlı cevap: Yapay zeka güvenlik olay müdahalesi, bir yapay zeka sistemi saldırıya uğradığında, kandırıldığında ya da beklenmedik biçimde davrandığında ne yapılacağını tanımlayan süreçtir. Klasik olay müdahalesi bir sunucu ya da ağ ihlalini ele alır; yapay zeka olayı ise farklıdır çünkü belirti çoğu zaman bir çökme değil, modelin sessizce yanlış ya da zararlı karar vermesidir. En sık olaylar şunlardır: prompt injection ile ajanın kötü bir eyleme yönlendirilmesi, veri zehirlenmesiyle modelin bozulması, model çıkarımıyla veri sızıntısı ve modelin olağan dışı çıktı üretmesi. Kök yaklaşım klasik müdahaleyle aynı sırayı izler ama yapay zekaya uyarlanır: olayı sınırla, modeli ve girdileri koru, kapsamı belirle, kök nedeni bul ve modeli güvenli bir sürüme döndür; hepsini delil koruyarak ve insan denetiminde yap.

Kurumlar artık yapay zekayı kritik süreçlerde kullanıyor: müşteri hizmeti, karar desteği, güvenlik. Ama bir yapay zeka sistemi de saldırıya uğrayabilir ya da kandırılabilir. Böyle bir durumda ne yapılır? Bu yazı, yapay zekaya özgü olay müdahalesini anlatır.

Yapay zeka olayı neden farklı

Klasik bir güvenlik olayında belirti genelde nettir: bir sunucu çöker, bir ağ trafiği patlar, bir dosya şifrelenir. Yapay zeka olayında ise belirti çoğu zaman sessizdir: model çalışmaya devam eder ama yanlış ya da zararlı kararlar verir. Bir ajan, kandırıldığı için istenmeyen bir eylem yapmış olabilir; bir model, zehirlenmiş veriyle yanlış öğrenmiş olabilir. Bu sessizlik, olayın geç fark edilmesine yol açar. Bu yüzden yapay zeka çıktıları, açıklanabilirlik ve izleme ile sürekli denetlenmelidir.

Yapay zekaya özgü olay türleri

Olay Belirti Kaynak
Prompt injection Ajan istenmeyen eylem yapar Prompt injection
Veri zehirlenmesi Model sistematik yanlış karar Veri zehirlenmesi
Model çıkarımı Veri sızıntısı Model saldırıları
Aşırı yetki kötüye kullanımı Yıkıcı eylem tetiklendi Aşırı yetki
Olağan dışı çıktı Beklenmedik ya da zararlı yanıt Manipülasyon ya da hata

Bu olayların ortak zorluğu, delilin çoğunun uçucu ve dağıtık olmasıdır: girdiler, model durumu ve karar günlükleri, olay geçtikten sonra kaybolabilir.

Yapay zeka olay müdahale adımları

1. Sınırla ve koru

Etkilenen yapay zeka sistemi, yıkıcı eylem yapmaya devam ediyorsa güvenli biçimde durdurulmalı ya da yetkileri kısıtlanmalıdır. Girdiler, çıktılar ve model durumu, dijital delil ve koruma zinciri ilkelerine göre korunmalıdır.

2. Kapsamı belirle

Olayın etkisi çıkarılmalıdır: ajan hangi eylemleri yaptı, model hangi kararları verdi, hangi veri sızmış olabilir. Ajanın araç çağrı günlükleri bu aşamada kritiktir.

3. Kök nedeni bul

Olayın kaynağı tespit edilmelidir: bir prompt injection mı, zehirli bir veri mi, aşırı bir yetki mi. Kök neden bilinmeden düzeltme eksik kalır.

4. Güvenli sürüme dön

Model zehirlendiyse temiz bir sürüme döndürülmeli, ajanın yetkileri gözden geçirilmeli ve açık kapatılmalıdır. Modelin geçmiş sürümleri ve eğitim verisi, bu geri dönüş için korunmalıdır.

5. Ders ve iyileştirme

Olaydan sonra, aynı manipülasyonun tekrarını önleyecek kontroller (girdi ayrımı, yetki kısıtlama, izleme) eklenmelidir.

KAOS ve DSET yaklaşımı

DSET, yapay zeka güvenlik olaylarını, yapay zeka hızını insan uzmanın denetimiyle birleştiren bir süreçle yürütür. Yerel yapay zekâ motoru KAOS, ajan günlüklerini, model çıktılarını ve girdileri hızlı triyaj için tarar, olağan dışı davranışı yakalar ve kök nedeni çıkarmaya yardım eder. Ama delil değeri taşıyan her bulgu uzman denetiminde ve koruma zinciriyle doğrulanır. KAOS çevrim dışı çalıştığı için hassas model ve olay verisi dışarı gönderilmez. Sonuç, sessiz bir yapay zeka olayını görünür kılan, savunulabilir bir müdahaledir.

Sık sorulan sorular

Yapay zekam saldırıya uğradığını nasıl anlarım? Genelde bir çökmeyle değil, olağan dışı ya da yanlış kararlarla. Model çalışmaya devam ederken sistematik yanlış çıktı üretiyorsa, bir ajan beklenmedik bir eylem yaptıysa ya da veri sızıntısı belirtisi varsa, bir olay söz konusu olabilir. Bu yüzden yapay zeka çıktıları sürekli izlenmelidir.

Zehirlenmiş bir model düzeltilebilir mi? Çoğu zaman en güvenli yol, modeli zehirlenmeden önceki temiz bir sürüme döndürmektir. Bu yüzden modelin geçmiş sürümleri ve eğitim verisi korunmalıdır. Kök neden bulunmadan yeniden eğitim, aynı zehirlenmeyi tekrar getirebilir.

Yapay zeka olayında delil nedir? Ajanın araç çağrı günlükleri, modele giren girdiler, üretilen çıktılar ve model durumu delil kaynağıdır. Bu veri uçucu olduğu için olaydan hemen sonra koruma zinciriyle toplanmalıdır; geç kalınırsa iz kaybolabilir.

Kaynaklar

Yapay zeka sistemleriniz için olay müdahalesi ve saldırı sonrası inceleme için DSET ile iletişime geçin. Ankara Hacettepe Teknokent laboratuvarımızdan KAOS ve uzman denetimiyle güvenlik sağlıyoruz.