Hızlı cevap: AI gateway (yapay zeka ağ geçidi) ya da LLM güvenlik duvarı, bir uygulama ile büyük dil modeli arasına yerleşen bir kontrol katmanıdır. Gelen istemleri (prompt) ve dönen çıktıları denetler: prompt injection'ı engeller, zararlı ya da hassas çıktıyı filtreler, gizli veri sızıntısını durdurur ve kullanımı izler. Bu katmana guardrail (koruyucu bariyer) da denir. Amacı, LLM'i doğrudan kullanıcıya açık bırakmak yerine, araya denetlenebilir bir güvenlik sınırı koymaktır.

AI gateway neden gerekli?

Bir LLM'i doğrudan kullanıcı girdisine ve dış sistemlere bağlamak risklidir. Kullanıcı, prompt injection ile modelin talimatlarını ele geçirebilir; model, eğitim verisinden ya da bağlamdan hassas bilgi sızdırabilir; ya da zararlı, yanlış veya politika dışı çıktı üretebilir. Bu risklerin hepsi, model ile dünya arasındaki sınırda yönetilmelidir.

AI gateway tam da bu sınırı kurar. Web uygulamalarındaki güvenlik duvarının (WAF) yaptığını LLM trafiği için yapar: her istek ve yanıt bir kontrol katmanından geçer.

AI gateway ne yapar?

İşlev Açıklama
Girdi denetimi Prompt injection ve zararlı istemleri yakalama
Çıktı filtreleme Zararlı, yanlış ya da politika dışı çıktıyı engelleme
Veri sızıntısı önleme Hassas veri ve gizli bilginin çıktıda geçmesini durdurma
Erişim ve hız kontrolü Kullanım sınırı, kimlik doğrulama, kötüye kullanım engeli
İzleme ve denetim Tüm istem ve yanıtların kaydı, anomali tespiti

Guardrail ile model güvenliği farkı

Model güvenliği, modelin kendisini (eğitim verisi, ağırlıklar, API) korumakla ilgilidir. Guardrail ise modelin çalışma anındaki davranışını sınırlar. İkisi birbirini tamamlar: en güvenli model bile, önüne bir kontrol katmanı konmadan doğrudan kullanıcıya açıldığında kötüye kullanılabilir. Guardrail, modelin ne alabileceğini ve ne verebileceğini denetleyen çalışma zamanı sınırıdır.

KAOS ve DSET yaklaşımı

DSET, LLM tabanlı uygulamaların güvenlik denetiminde guardrail ve AI gateway katmanının etkinliğini test eder: prompt injection gerçekten engelleniyor mu, hassas veri çıktıda sızıyor mu. Geliştirdiğimiz KAOS güvenlik motoru, bu kontrol katmanını atlatmaya çalışarak dayanıklılığını kanıta bağlar. Amacımız guardrail'in kağıt üzerinde değil, gerçek saldırı karşısında çalıştığını göstermektir.

Bağlantılı okumalar: prompt injection ve OWASP LLM Top 10, LLM prompt injection ve jailbreak savunma, yapay zeka chatbot güvenliği, RAG vektör veritabanı güvenliği, AI TRiSM yapay zeka güven risk güvenlik yönetimi, MITRE ATLAS yapay zeka tehdit matrisi.

Sık sorulan sorular

AI gateway ile guardrail aynı şey mi? Büyük ölçüde aynı amaca hizmet ederler. Guardrail, modelin girdi ve çıktısını sınırlayan kontrol mekanizmasıdır. AI gateway ise bu guardrail'leri, erişim kontrolü ve izlemeyi tek bir katmanda toplayan mimari bileşendir. Yani guardrail kuraldır, AI gateway o kuralları uygulayan kapıdır.

Guardrail prompt injection'ı tamamen engeller mi? Hiçbir guardrail yüzde yüz garanti vermez, çünkü prompt injection sürekli evrilen bir saldırı sınıfıdır. Ama iyi tasarlanmış bir guardrail, en yaygın saldırıları engeller ve riski önemli ölçüde azaltır. Bu yüzden guardrail tek savunma değil, katmanlı bir yaklaşımın parçası olmalı ve düzenli test edilmelidir.

LLM uygulamamı doğrudan kullanıcıya açabilir miyim? Açabilirsiniz ama araya bir kontrol katmanı koymadan risklidir. Kullanıcı girdisi prompt injection taşıyabilir, model hassas veri sızdırabilir ya da politika dışı çıktı üretebilir. AI gateway, modeli doğrudan açmak yerine denetlenebilir bir sınır koyar ve bu riskleri önemli ölçüde azaltır.

Kaynaklar

LLM uygulamanızın guardrail ve AI gateway katmanını test etmek için Ankara Hacettepe Teknokent'teki ekibimizle görüşebilirsiniz. DSET ile iletişime geçin.