Yerel (Offline) Yapay Zeka ile Siber Güvenlik: Egemenlik, Gizlilik ve KVKK

Hızlı Cevap: Yerel (offline) yapay zeka, bir yapay zeka modelini bulut yerine kendi sunucunuzda ya da cihazınızda çalıştırmaktır. Farkı basit ama kritik, bulut tabanlı bir yapay zekaya bir soru sorduğunuzda, sorunuz ve verdiğiniz veri bir başka şirketin sunucusuna gider. Yerel yapay zekada ise veri hiçbir zaman ağınızı terk etmez, model sizin donanımınızda çalışır ve internet olmasa bile işini yapar. Bu, güvenlik, adli bilişim, savunma ve müşteri verisi işleyen her kurum için önemlidir, çünkü en hassas veriyi bir dış buluta göndermek hem gizlilik riskidir hem KVKK açısından sorumluluk doğurur. Yerel yapay zeka, veri egemenliğini korur, hiçbir API bağımlılığı yaratmaz ve hava boşluklu (air gapped) ağlarda bile çalışır. DSET'in siber güvenlik motoru KAOS, tam da bu ilkeyle tasarlandı, tamamen yerel çalışır ve veriniz Türkiye sınırları ya da kurum ağının dışına hiç çıkmaz.

Yapay zeka son yıllarda güvenlik dünyasını dönüştürdü, ama çoğu güçlü model bulutta çalışır ve kullandığınız her an verinizi o buluta gönderir. Bir güvenlik uzmanı için bu bir çelişkidir, en gizli veriyi analiz etmek için onu başka birinin sunucusuna yollamak. Yapay zeka güvenliğinin genel çerçevesini yapay zeka güvenliği rehberi ve şirketler yapay zeka kullanırken nelere dikkat etmeli yazılarımızda anlattık. Bu yazı, çözümü ele alır, yerel yapay zeka.

Bulut yapay zekanın gizli maliyeti, veriniz dışarı gider

Bulut tabanlı bir yapay zeka servisine bir metin, bir kod parçası ya da bir belge verdiğinizde, o veri işlenmek üzere sağlayıcının sunucusuna gönderilir. Sağlayıcı ne kadar güvenilir olursa olsun, bu birkaç gerçeği değiştirmez. Veriniz artık sizin ağınızın dışındadır. Başka bir ülkenin yargı yetkisindeki bir sunucuda tutulabilir. Sağlayıcının bir ihlali, verinizin de ihlali olur. Ve bazı durumlarda verileriniz modelin iyileştirilmesinde kullanılabilir.

Bir güvenlik denetimi, bir adli inceleme ya da müşteri verisi işleyen bir analiz için bu tablo kabul edilemez. En hassas veriyi korumak için onu bir dış buluta göndermek, kapıyı kilitlemek için anahtarı sokağa bırakmaya benzer.

Yerel yapay zeka nasıl çalışır

Yerel yapay zeka, açık ağırlıklı (open weight) bir modeli sizin kontrolünüzdeki bir donanımda çalıştırır. Bir GPU'lu sunucu ya da yeterince güçlü bir iş istasyonu, bir dil modelini yerel olarak barındırabilir. Model bir kez indirildikten sonra, tüm işlem yerelde olur, veri dışarı gitmez ve internet bağlantısı gerekmez.

Bu yaklaşımın üç büyük kazanımı vardır.

  • Veri egemenliği. Veriniz ağınızı hiç terk etmez, tamamen sizin kontrolünüzdedir.
  • Bağımlılıksızlık. Hiçbir dış API'ye, hiçbir aboneliğe, hiçbir internet bağlantısına bağımlı değilsiniz. Sağlayıcı fiyat artırsa, servisi kapatsa ya da erişimi kesse bile sisteminiz çalışmaya devam eder.
  • Air gapped çalışma. İnternete hiç bağlı olmayan, izole (hava boşluklu) ağlarda bile çalışır. Bu, savunma, kritik altyapı ve gizli veri işleyen ortamlar için tek uygun seçenektir.

KVKK ve veri egemenliği açısından neden kritik

KVKK, kişisel veriyi işleyen kurumların uygun teknik tedbirleri almasını ve veriyi korumasını zorunlu kılar. Kişisel veriyi bir dış buluta göndermek, özellikle yurt dışı sunuculara aktarım söz konusuysa, ek yükümlülükler ve riskler doğurur. Yerel yapay zeka bu sorunu kökten çözer, veri hiç dışarı çıkmadığı için aktarım da yoktur. KVKK yükümlülüklerini KVKK uyum danışmanlığı yazımızda, kurumsal yapay zeka risk yönetimini yapay zeka risk yönetimi, NIST AI RMF ve ISO 42001 yazımızda anlattık.

Boyut Bulut yapay zeka Yerel yapay zeka
Veri nerede işlenir Sağlayıcının sunucusu Sizin donanımınız
Veri egemenliği Sınırlı Tam
İnternet gereksinimi Zorunlu Yok
API bağımlılığı Var Yok
Air gapped ortam Olmaz Olur
KVKK aktarım riski Var Yok
Kurulum maliyeti Düşük Donanım yatırımı

Ödünleşim, güç ve maliyet

Yerel yapay zekanın bir bedeli vardır, donanım. Güçlü bir modeli yerel çalıştırmak için bir GPU ve yeterli bellek gerekir. Ayrıca en büyük bulut modelleri, en güçlü yerel modellerden hâlâ ileride olabilir. Ama açık ağırlıklı modeller hızla güçleniyor ve birçok kurumsal görev için yerel bir model fazlasıyla yeterli. Karar, işin hassasiyetine bağlıdır. Genel, gizli olmayan işler için bulut pratik olabilir. Ama güvenlik, adli bilişim ve müşteri verisi söz konusuysa, yerel yapay zeka tek doğru seçenektir. Kendi sunucunuzda yerel model çalıştırmanın pratik yolunu kendi sunucunuzda yerel LLM, Ollama rehberi yazımızda anlattık.

KAOS, tamamen yerel bir güvenlik motoru

DSET olarak siber güvenlik yapay zeka motorumuz KAOS'u bu ilkeyle tasarladık. KAOS, otonom olarak zafiyet bulur, exploit üretir ve düzeltir, ama tüm bu akışı yerel modellerle, veriniz ağınızı hiç terk etmeden yapabilir. İnternet kesildiğinde de çalışmaya devam eder, bir egemen mod ile tüm işlem yerelde yürür. Bu, bir kurum için tam da farkı yaratan özelliktir, kullanabileceğiniz bir araç ile kullanamayacağınız bir araç arasındaki fark. KAOS'un yeteneklerini KAOS yapay zeka siber güvenlik tarama aracı ve Ankara siber güvenlik, pentest ve KAOS yazılarımızda anlattık.

Yerel yapay zeka hangi alanlarda kullanılır

Yerel yapay zeka soyut bir kavram değildir, veri hassasiyetinin yüksek olduğu her sektörde somut karşılığı vardır. En çok fark yarattığı alanlar şunlardır.

  • Siber güvenlik operasyonları. Bir güvenlik ekibi, log analizi, olay müdahalesi ve zafiyet değerlendirmesi için yapay zekadan yararlanmak ister, ama bu veriler kurumun en hassas bilgileridir. Yerel bir model, tüm bu analizi ağ dışına hiçbir şey çıkmadan yapar. DSET'in KAOS motoru tam da bunun için yerel çalışır.
  • Adli bilişim. Bir adli inceleme, delil niteliği taşıyan veriler üzerinde çalışır. Bu verileri bir dış buluta göndermek, hem gizlilik ihlali hem delil zinciri riskidir. Yerel yapay zeka, incelemeyi delil bütünlüğünü koruyarak yürütür.
  • Sağlık. Hasta kayıtları özel nitelikli kişisel veridir ve en sıkı korumayı gerektirir. Bir hastane, yapay zekayı ancak veri kurumdan çıkmadan kullanabilir.
  • Hukuk. Bir hukuk bürosu, sözleşmeleri, dava dosyalarını ve müvekkil bilgilerini işler. Bunların gizliliği mesleki bir yükümlülüktür, yerel model bu gizliliği korur.
  • Finans. Bankacılık ve finans verisi hem düzenlemeye tabidir hem yüksek değerlidir. Yerel yapay zeka, uyumu ve gizliliği birlikte sağlar.
  • Savunma ve kamu. Gizli sınıflandırılmış ağlarda bulut tamamen yasaktır. Yerel ve air gapped yapay zeka, bu ortamlarda tek uygulanabilir seçenektir.

Bu alanların ortak noktası, veriyi dışarı çıkarmanın kabul edilemez olmasıdır. Yerel yapay zeka, güvenliği bir kısıt olmaktan çıkarıp mümkün kılan şeydir.

Egemen yapay zeka ve milli güvenlik

Yerel yapay zeka, kurum ölçeğinden ulusal ölçeğe taşındığında egemen yapay zeka (sovereign AI) adını alır. Temel fikir aynıdır, bir ulusun ya da kurumun, kritik yapay zeka yeteneğini bir yabancı sağlayıcıya bağımlı olmadan, kendi kontrolünde çalıştırmasıdır.

Bunun neden önemli olduğunu düşünün. Bir kurum, en kritik güvenlik analizini bir dış buluta yaptırıyorsa, o yeteneği sağlayan taraf fiyatı artırabilir, erişimi kesebilir ya da veriyi görebilir. Ulusal güvenlik söz konusu olduğunda bu bağımlılık kabul edilemezdir. Egemen yapay zeka, bu bağımlılığı ortadan kaldırır, yetenek tamamen kurumun elindedir ve internet kesilse bile çalışır.

DSET olarak KAOS'u bu vizyonla tasarladık. KAOS, çevrimiçi bir sağlayıcıya bağımlı olmadan, yerel modellerle çalışabilen egemen bir mod içerir. Bu, makine hızında saldırıların olduğu bir dünyada, bir kurumun kendi savunmasını kiralamak yerine sahiplenmesi anlamına gelir. Egemen ve yerel çalışma, KAOS'un en ayırt edici özelliğidir.

Yerel yapay zekaya geçiş, adım adım

Bir kurum bulut yapay zekadan yerele geçmek istediğinde, süreç aşamalıdır ve dikkatli planlama ister.

  1. İhtiyaç ve veri hassasiyeti analizi. Hangi işlerin yapay zeka kullandığını ve bu işlerin ne kadar hassas veri içerdiğini belirleyin. En hassas işler yerele öncelikli adaylardır.
  2. Model seçimi. Görevlerinize uygun, donanımınızda çalışabilecek açık ağırlıklı bir model belirleyin. Genelde küçükten başlayıp ihtiyaca göre büyümek doğru yaklaşımdır.
  3. Donanım planlaması. Seçtiğiniz modelin gerektirdiği GPU ve belleği kurun. Nicemleme, daha büyük modelleri daha mütevazı donanıma sığdırmanıza yardımcı olur.
  4. Kurulum ve entegrasyon. Modeli bir çalıştırma aracıyla kurun ve mevcut iş akışlarınıza bağlayın. Kurumsal bilgiyle çalışması için RAG ekleyin.
  5. Güvenlik ve politika. Yerel modelin erişimini yetkiyle sınırlayın, girdileri denetleyin ve bir kullanım politikası oluşturun.
  6. Kademeli geçiş. Önce en hassas işleri yerele taşıyın, genel işleri bulutta tutabilirsiniz. Zamanla dengeyi ihtiyacınıza göre ayarlarsınız.

Bu geçişte deneyimli bir güvenlik ekibiyle çalışmak, hem doğru mimariyi kurmak hem yerel modelin kendi güvenliğini sağlamak için değerlidir.

Yaygın yanlış anlamalar

Yerel yapay zeka hakkında birkaç yaygın yanlış inanç, kurumları gereksiz yere caydırır.

  • Çok pahalı. Doğru değil. Küçük ve orta modeller orta seviye donanımda çalışır ve kullanım başına API ücreti olmadığı için, yoğun kullanımda yerel çözüm zamanla buluttan daha ekonomik olabilir.
  • Çok zayıf. Açık ağırlıklı modeller hızla güçleniyor ve birçok kurumsal görev için fazlasıyla yeterli. En büyük bulut modeli her iş için gerekli değildir.
  • Çok karmaşık. Ollama gibi araçlar kurulumu büyük ölçüde basitleştirdi. Doğru ekiple, yerel bir model kurmak birçok kurumun sandığından kolaydır.
  • Güncel kalmaz. Açık modeller sürekli yenilenir, yeni ve daha güçlü sürümleri indirip değiştirebilirsiniz. Bağımsızlığınızı korurken güncel kalırsınız.

Yerel yapay zeka mimarisinin bileşenleri

Yerel bir yapay zeka çözümü tek bir parçadan ibaret değildir, birbirini tamamlayan katmanlardan oluşur. Bu bileşenleri anlamak, doğru bir çözüm kurmanın anahtarıdır.

  • Model. Sistemin beyni, açık ağırlıklı bir dil modelidir. Görevinize ve donanımınıza göre seçilir.
  • Çalıştırma katmanı. Modeli barındıran ve ona erişim sağlayan araçtır. Modeli belleğe yükler, sorguları işler ve bir arayüz sunar.
  • Bilgi katmanı (RAG). Kurumsal belgelerinizi bir vektör veritabanında tutar ve modele soru geldiğinde ilgili bilgiyi getirir. Böylece model kurumunuzun bilgisiyle konuşur.
  • Orkestrasyon. Karmaşık görevlerde birden fazla adımı ve aracı koordine eden katmandır. DSET'in KAOS motoru, onlarca uzman ajanı bu şekilde koordine eder.
  • Güvenlik ve denetim katmanı. Girdileri denetler, erişimi sınırlar, kayıt tutar ve modelin kötüye kullanılmasını engeller.

Bu katmanlar birlikte, hem güçlü hem gizli hem güvenli bir yerel yapay zeka oluşturur. Eksik bir katman, ya güvenlik açığı ya işlevsizlik demektir.

Açık ağırlıklı modeller ve lisans dünyası

Yerelde çalıştırdığınız modeller, açık ağırlıklı (open weight) modellerdir, yani model dosyalarını indirip kendi donanımınızda çalıştırabilirsiniz. Ama açık ağırlıklı olmak, her zaman tam anlamıyla açık kaynak olmak demek değildir. Bazı modeller tamamen özgür lisanslarla gelir, bazıları ticari kullanımda belirli koşullar getirir. Bir kurum için, seçtiği modelin lisansının kendi kullanımına uygun olduğunu doğrulamak önemlidir.

İyi haber şudur, güçlü ve izin verici lisanslı çok sayıda model vardır, ve topluluk bunları sürekli iyileştirir. Bir kurum, ihtiyacına ve lisans koşullarına uygun bir model seçerek, hem güçlü hem yasal olarak güvenli bir temel kurabilir. Model seçiminin pratik yönünü kendi sunucunuzda yerel LLM, Ollama rehberi yazımızda anlattık.

Yerel yapay zeka ve düzenlemeye uyum

Yapay zeka artık yalnızca teknik değil, hukuki bir konudur. Avrupa'da EU AI Act, yapay zeka sistemlerine risk temelli yükümlülükler getirir. Türkiye'de KVKK, kişisel veri işleyen her yapay zeka kullanımını kapsar. ISO/IEC 42001 ise kurumsal yapay zeka yönetimi için bir çerçeve sunar.

Yerel yapay zeka, bu düzenlemelere uyumu kolaylaştırır. Veri kurumun ağını hiç terk etmediği için, yurt dışı veri aktarımı, üçüncü taraf işleme ve dış sağlayıcı bağımlılığı gibi en zorlu uyum sorunları kökten ortadan kalkar. Veri ikametinin (data residency) garanti altında olması, düzenlenmiş sektörler için tek başına yerel yapay zekayı tercih sebebi yapar. Yapay zeka risk yönetimi çerçevelerini yapay zeka risk yönetimi, NIST AI RMF ve ISO 42001 yazımızda ayrıntılı ele aldık.

Yerel yapay zeka ile bir güvenlik operasyonu, gerçek bir akış

Yerel yapay zekanın güvenlikte nasıl fark yarattığını somutlaştırmak için tipik bir akışa bakalım. Bir kurum, dış saldırıya karşı sürekli bir tarama yürütmek ister, ama bu tarama sonuçları, açıklar ve iç sistem bilgileri en hassas verilerdir. Bulut bir araca bunları göndermek, saldırgana yol haritası verebilecek bilgiyi dışarı çıkarmak demektir.

Yerel bir motorla akış şöyle işler. Motor hedefi yerelde tarar, bulduğu açıkları yine yerelde analiz eder, bir exploit üretip sanal ortamda doğrular ve bir rapor çıkarır. Tüm bu süreçte tek bir bilgi bile ağ dışına çıkmaz. İnternet kesilse bile motor çalışmaya devam eder. DSET'in KAOS motoru tam da bu akışı yerel modellerle yürütür, bunu KAOS yapay zeka siber güvenlik tarama aracı yazımızda anlattık. Sonuç, hem güçlü hem tamamen gizli bir güvenlik operasyonudur.

Karar rehberi, bulut mu yerel mi

Her iş için yerel yapay zeka gerekmez, doğru karar işin doğasına bağlıdır. Şu hızlı kontrol listesi yön verir. Eğer işiniz kişisel veri, kaynak kod, güvenlik bilgisi ya da adli delil içeriyorsa, yerel yapay zeka neredeyse her zaman doğru seçimdir. Eğer düzenlenmiş bir sektördeyseniz (sağlık, finans, kamu, savunma) ve veri ikameti gerekiyorsa, yerel zorunludur. Eğer kullanımınız yoğun, sürekli ve öngörülebilirse, yerel ekonomik olarak da avantajlıdır. Buna karşılık, işiniz genel, gizli olmayan ve değişkense, bulut esnekliği pratik olabilir. Birçok olgun kurum ikisini birlikte kullanır, hassas işleri yerelde, gerisini bulutta. Önemli olan, kararı bilinçli vermek ve en hassas veriyi asla gereksiz yere dışarı çıkarmamaktır.

Sıkça Sorulan Sorular

Yerel yapay zeka bulut kadar güçlü mü? En büyük bulut modelleri hâlâ önde olabilir, ama açık ağırlıklı yerel modeller birçok kurumsal görev için fazlasıyla yeterlidir. Ve hassas veri söz konusuysa, gizliliği korumak güç farkından daha önemlidir.

Yerel yapay zeka için ne gerekir? Bir GPU ve yeterli belleğe sahip bir sunucu ya da iş istasyonu yeterlidir. Model bir kez kurulduktan sonra internet gerekmez.

Veri gerçekten hiç dışarı gitmiyor mu? Doğru kurulmuş yerel bir sistemde evet, model sizin donanımınızda çalışır ve hiçbir sorgu ya da veri dışarı gönderilmez. Air gapped bir ağda internet bağlantısı hiç olmadığı için bu kesindir.

KVKK açısından yerel yapay zeka avantaj mı? Evet. Veri hiç dışarı çıkmadığı için yurt dışı aktarım riski ve dış sağlayıcı bağımlılığı ortadan kalkar, bu da uyumu ve veri güvenliğini kolaylaştırır.

Kaynaklar

Kurumunuz için yerel, egemen ve gizliliği koruyan bir yapay zeka güvenlik altyapısı kurmak için DSET ile iletişime geçin.