Mühendislik / KAOS AI · DSET Mühendislik Ekibi · 13 Ekim 2026 · 12 dakika okuma

Hızlı cevap

Bir güvenlik yapay zekasının pazarlama vaadiyle gerçek yeteneğini ayırmanın tek yolu ölçmektir. Dört metrik belirleyicidir: çözülebilir benchmark üzerinde başarı oranı (bilinen açıkları bulabiliyor mu), halüsinasyon oranı (olmayan açığı uyduruyor mu), kanıt tekrar oynatma (bulduğunu sonradan ispatlayabiliyor mu) ve yanlış pozitif oranı (gürültü mü üretiyor). İyi bir güvenlik AI'ı bu dördünü de şeffaf raporlar. "Çok akıllı" demek bir metrik değildir.

Neden "etkileyici demo" yanıltır

Bir demo seçilmiş bir hedefte etkileyici görünebilir. Gerçek değer, bilinmeyen ve çeşitli hedeflerde tekrarlanabilir başarıdır. Bu yüzden ciddi değerlendirme standart benchmark'lara dayanır. Çözümleri bilinen ama modele gösterilmemiş zorluk setleri, modelin gerçekten akıl yürütüp yürütmediğini ortaya çıkarır.

Metrik 1: benchmark başarı oranı

Güvenlik dünyasında açık çözme benchmark'ları vardır. Bunlar, bilinen açık sınıflarını içeren kontrollü hedeflerdir. Bir model bu hedeflerin yüzde kaçını doğru çözüyor sorusu, temel bir yetenek ölçüsüdür. Önemli olan tek bir kategoride değil, çeşitli kategorilerde (enjeksiyon, kimlik, mantık, bellek) dengeli başarıdır.

Metrik 2: halüsinasyon oranı

Bu, güvenlik AI'ının en tehlikeli başarısızlığıdır. Model olmayan bir açığı var gibi raporlarsa, ekip gerçek olmayan bir şeyi kovalar ve güven çöker. Halüsinasyon oranı, modelin ürettiği bulguların ne kadarının gerçek olmadığının ölçüsüdür. Genel amaçlı modellerde güvenlik konularında bu oran yüksek olabilir. Alana özel eğitilmiş bir motor bunu düşük tutmayı hedefler ve en önemlisi, emin olmadığında "bilmiyorum" diyebilmelidir.

Metrik 3: kanıt tekrar oynatma

Bir bulgu bugün gerçekse, yarın da ispatlanabilir olmalıdır. Kanıt tekrar oynatma, bir bulgunun bir çıpayla kaydedilip sonradan yeniden koşturulabilmesidir. Bu üç şeyi sağlar. Bulgunun gerçekten yapıldığını kanıtlar. Yama sonrası açığın kapandığını ölçer. Ve zamanla açığın durumunu izler, hala canlı mı, değişti mi, kapandı mı.

Metrik 4: yanlış pozitif oranı

Yanlış pozitif, gerçek olmayan ama gerçek gibi raporlanan bulgudur. Yüksek yanlış pozitif, bir aracı pratikte işe yaramaz kılar çünkü ekip gürültüde boğulur. İyi bir güvenlik AI'ı yanlış pozitifi kaynağında keser, örneğin bir güvenlik başlığının gerçekten zayıf olup olmadığını bağlamıyla ayırt eder, her eksikliği açık ilan etmez.

Dört metriğin tablosu

Metrik Ne ölçer İyi yön
Benchmark başarısı Gerçek açık bulma Yüksek ve dengeli
Halüsinasyon oranı Uydurma bulgu Düşük, bilmiyorum diyebilme
Kanıt replay İspatlanabilirlik Her bulgu tekrar oynatılabilir
Yanlış pozitif Gürültü Kaynağında kesilmiş

Dürüst değerlendirmenin ilkeleri

Bir güvenlik AI'ını değerlendirirken üç ilke önemlidir. Birincisi, bağımsızlık, model kendini test etmemeli, ayrı bir doğrulama katmanı olmalı. İkincisi, tekrarlanabilirlik, aynı test aynı sonucu vermeli. Üçüncüsü, şeffaflık, metrikler saklanmamalı, zayıf yönler de raporlanmalı. KAOS kendi değerlendirmesinde bu ilkeleri uygular ve kendi zayıf noktalarını itiraf eder, çünkü abartılı öz değerlendirme sahada çöker.

Savunma değeri

Doğru metrikler, bir kurumun hangi güvenlik AI'ına güveneceğini bilmesini sağlar. Pazarlama vaadiyle değil, ölçülebilir kanıtla seçim yapmak, hem bütçeyi hem güveni korur. Bir araç yanlış pozitif ve halüsinasyon oranını açıkça paylaşıyorsa, zaten dürüstlük konusunda bir sınavı geçmiş demektir.

Sık sorulan sorular

Yüksek benchmark başarısı tek başına yeterli mi? Değil. Yüksek başarı ama yüksek halüsinasyon, sahada işe yaramaz. Dört metrik birlikte değerlendirilmelidir.

Halüsinasyon oranı sıfır olabilir mi? Pratikte sıfıra yaklaşır ama kesin sıfır iddiası abartıdır. Önemli olan modelin emin olmadığında dürüstçe durabilmesidir.

Kanıt tekrar oynatma neden kritik? Çünkü bir bulgunun zaman içindeki durumunu izler. Yama gerçekten işe yaradı mı sorusunu imzalı rapor değil, tekrar koşturulan kanıt cevaplar.

KAOS ile tanışın

Bu yazıdaki yeteneklerin tamamı KAOS güvenlik zekasında canlı çalışır. KAOS, DSET Mühendislik ekibi tarafından Türkiye'de geliştirilen, inference'ı yerel kalan otonom bir güvenlik motorudur. Hacettepe Teknokent tabanlı ekibimizle kurumunuzun saldırı yüzeyini ölçmek için demo talep edebilirsiniz.

KAOS demo talep et · Sızma testi hizmeti