Kurumsal yapay zekâ üretim platformu
Prototipten, kurumunuzun güvenle kullanabileceği yapay zekâya.
Aperture, yapay zekânın kurumunuza ne ölçüde ve hangi koşullarla gireceğini belirler. Kendi donanımınızda çalışan açık ağırlıklı modeller ile harici API modelleri tek bir gateway’in ve tek bir politika setinin arkasında yer alır. Her yanıt, kullanıcının görmeye yetkili olduğu dokümanlara dayanır; yayına alınmadan önce test edilir, yayından sonra izlenir.
VARDA ApertureOrbit üzerinde çalışır
Problem
Pilot çalıştı. Üretim ise başka sorular soruyor.
Bir çalıştayda etkileyici görünen model artık doküman yetkilerine uymak, kişisel verileri içeride tutmak, manipüle edilmiş girdilere direnmek ve gelecek ay da bugünkü kalitede yanıt vermek zorunda. Ortak bir platform olmadığında her ekip bu sorunları kendi yöntemiyle yeniden çözer ve hangi modelin neyi yanıtladığını kimse söyleyemez.
- 01
Ekipler harici model API’lerini doğrudan çağırıyor; ortak bir politika ya da maliyet kontrolü yok.
- 02
Asistanlar dokümanları, kimin okumaya yetkili olduğunu kontrol etmeden getiriyor.
- 03
Kalite, tekrarlanabilir testlerle değil, izlenimlerle değerlendiriliyor.
- 04
Bir yanıt hatalı çıktığında arkasındaki model, prompt ya da kaynak izlenemiyor.
- Veri
- Eğitim
- Değerlendirme
- Entegrasyon
- Yayıncanary 10%
- İzleme
- İyileştirme
- Bağlama sadakat0,940,89
- Kaynak gösterme0,970,93
- Görev başarımı0,910,86
- Politika ihlali0,000,00
- p95 gecikme1,8 sn2,3 sn
Onay bekliyor: Model risk komitesi
- PII maskelendi (TCKN, IBAN)12
- Prompt injection engellendi2
- Kaynaksız yanıt reddedildi5
Yetenekler
Yapay zekâ, sizin belirlediğiniz ölçüde içeri girer.
Model ve LLM gateway’i
Kendi GPU’larınızdaki açık ağırlıklı modeller ve harici sağlayıcıların API modelleri için tek bir uç nokta. Yönlendirme, kota, yedek model ve maliyet takibi ekip ve kullanım senaryosu bazında tanımlanır.
Yetkiye duyarlı arama
Kurumsal dokümanlar üzerinde, kaynak sistemdeki erişim yetkilerini sorgu anında uygulayan arama. Asistan, kullanıcısının açamayacağı bir dokümandan asla alıntı yapmaz.
Değerlendirme altyapısı
Gerçek sorulardan oluşturulan çevrimdışı test setleri doğruluk, kaynağa dayanma ve politika ihlalleri açısından puanlanır. Çevrimiçi değerlendirme ise sürümleri tam yayından önce canlı trafik üzerinde karşılaştırır.
Koruma katmanları ve politikalar
Kişisel veriler hem girişte hem çıkışta maskelenir; prompt injection girişimleri hem kullanıcı girdisinde hem de getirilen içerikte taranır. Çıktı politikaları, bir yanıtı kullanıcıya ulaşmadan önce engeller, maskeler ya da bir uzmana yönlendirir.
Sürümleme ve model kayıt defteri
Promptlar, modeller, arama ayarları ve koruma kuralları tek bir sürüm paketi olarak birlikte yönetilir. Üretime geçiş kayıtlı bir onay gerektirir; her değişiklik bir denetim izi bırakır.
İzleme ve geri bildirim
Kalite, drift, gecikme ve maliyet her kullanım senaryosu için ayrı izlenir. Kullanıcı puanları ve uzman düzeltmeleri test setlerine geri döner; böylece her yeni sürüm, geçmişte yaşanan hatalara karşı sınanır.
Nasıl çalışır
Veriden iyileştirmeye tek bir yaşam döngüsü
Veri
Kaynaklar Orbit üzerinden bağlanır ve yetkileriyle birlikte indekslenir. Gerçek sorular ve uzmanlarca gözden geçirilmiş yanıtlar ilk test setini oluşturur.
Eğitim ve uyarlama
İşe prompt tasarımı ve arama ayarlarıyla başlıyoruz; açık ağırlıklı bir modele ince ayarı (fine-tuning) yalnızca değerlendirme bunun fark yaratacağını gösterdiğinde uyguluyoruz.
Değerlendirme
Her aday sürüm test seti ve saldırı senaryolarıyla puanlanır; yayına alma eşikleri iş birimi sahibiyle birlikte belirlenir.
Entegrasyon ve yayına alma
Sürüm, koruma katmanlarıyla birlikte gateway’in arkasına alınır; önce gölge modda çalışır, ardından kullanıcıların bir kısmına ve en son herkese açılır.
İzleme ve iyileştirme
Canlı ortamdaki kalite, drift ve maliyet izlenir; geri bildirimler ve hatalar test setine eklenerek bir sonraki döngüyü başlatır.
Mimari
VARDA Aperture · Mimari
01 Kaynaklar
- Kurumsal dokümanlar
- Orbit veri ürünleri
- Açık ağırlıklı ve API modelleri
02 İşleme
- Yetkiye duyarlı arama
- Değerlendirme altyapısı
- Model kayıt defteri ve onay
03 VARDA Aperture
- Model ve LLM gateway’i
- Koruma ve politika katmanı
04 Çıktılar
- Asistanlar ve uygulamalar
- Kalite, drift ve maliyet izleme
- Denetim izi
Kullanım senaryoları
Kullanım senaryoları
Örnek bir senaryo: Bir bankanın operasyon çalışanları prosedürler, genelgeler ve ürün dokümanları üzerinde soru sorar. Her yanıt dayandığı pasajı ve doküman sürümünü gösterir; arama yalnızca kullanıcının açmaya yetkili olduğu dokümanlarda yapılır.
- Yanıtlar kaynak pasajı ve doküman sürümünü gösterir
- Kaynak sistemdeki yetkiler sorgu anında uygulanır
- Yanıtlanamayan sorular konunun uzmanına yönlendirilir
Örnek bir senaryo: Bir sigorta şirketine hasar dosyaları taranmış belge, e-posta ve form olarak ulaşır. Aperture her dokümanı sınıflandırır, gerekli alanları bir şemaya göre çıkarır ve güven skoru düşük kalan dosyaları bir uzmana yönlendirir.
- Şemaya göre doğrulanan yapılandırılmış çıktı
- Güven eşikleri ve insan incelemesi
- Her çıkarım, model ve prompt sürümüyle ilişkilendirilir
Örnek bir senaryo: Bir telekom operatörünün müşteri temsilcileri, politika dokümanlarına ve müşterinin başvuru geçmişine dayanan yanıt taslakları alır. Temsilci taslağı düzenler ve onaylar; hiçbir yanıt otomatik olarak gönderilmez.
- Harici bir modele gitmeden önce kişisel veriler maskelenir
- Her taslak üslup ve politika kurallarına göre denetlenir
- Temsilci düzeltmeleri değerlendirme setini besler
Kurulum seçenekleri
Kurulum seçenekleri
Kurum içi
Açık ağırlıklı modeller kendi GPU sunucularınızda çalışır; vektör indeksi, model kayıt defteri ve loglar veri merkezinizde kalır. Bir politika açıkça izin vermedikçe hiçbir veri ağınızın dışına çıkmaz.
Özel bulut
Kendi bulut hesabınızda ya da Türkiye’deki bir bulut bölgesinde, size ayrılmış GPU düğümleriyle çalışır. API modellerine, sağlayıcı sunuyorsa özel bağlantı üzerinden erişilir.
Hibrit
Hassas kullanım senaryoları yerel modellerde kalır; düşük riskli olanlar politika ile, kişisel veriler önceden maskelenerek harici API modellerine yönlendirilebilir. Her iki ortamı tek bir gateway ve tek bir denetim izi kapsar.
Teknik özellikler
VARDA Aperture
- Model sunumu
- vLLM veya NVIDIA Triton üzerinde açık ağırlıklı modeller; OpenAI API biçiminde uç nokta
- Arama ve getirme
- BM25 ve vektör tabanlı hibrit arama, yeniden sıralama; erişim listeleri sorgu anında uygulanır
- Değerlendirme
- Çevrimdışı test setleri, insanla kalibre edilen LLM değerlendiriciler, gölge ve A/B testleri
- Koruma katmanları
- Türkçe ve İngilizce kişisel veri tespiti ve maskeleme; injection filtreleri; çıktı politikaları
- Sürümleme
- Prompt, model, arama ve politika sürümleri her yayında sabitlenir
- Kayıt ve onay
- Testten üretime, kayıtlı onayla aşamalı geçiş
- İzleme
- Kullanım senaryosu bazında kalite, drift, p50/p95 gecikme ve token maliyeti
- Denetim izi
- Prompt, bağlam, yanıt ve onaylayan kişi; ayarlanabilir saklama süresiyle kaydedilir
Entegrasyonlar
- vLLM
- NVIDIA Triton
- Hugging Face
- OpenAI API
- Azure OpenAI
- MLflow
- pgvector
- OpenSearch
- Qdrant
- SharePoint
- Confluence
- Kubernetes
- OpenTelemetry
- Keycloak
Uyum ve yönetişim
- Kişisel veriler modele ulaşmadan tespit edilip maskelenir; harici sağlayıcılara veri aktarımı politika ile engellenebilir. KVKK yükümlülüklerini desteklemek üzere tasarlanmıştır.
- Modeller, indeksler ve loglar tamamen kurum içinde tutulabilir; bankalar için BDDK bilgi sistemleri yönetmeliği gereksinimlerini desteklemek üzere tasarlanmıştır.
- Model yaşam döngüsü boyunca erişim, değişiklik onayı ve kayıt tutma için ISO/IEC 27001 tarzı kontrolleri desteklemek üzere tasarlanmıştır.
- AB’de yerleşik kişilere ait veriler işlendiğinde GDPR kapsamındaki veri minimizasyonu ve hesap verebilirlik ilkelerini desteklemek üzere tasarlanmıştır.
Sık sorulan sorular
Sık sorulan sorular
01Harici bir model kullandığımızda verilerimiz kurum dışına çıkar mı?
Yalnızca siz izin verirseniz. Her kullanım senaryosunun hangi modelleri çağırabileceğini bir politika belirler; hassas senaryolar kendi donanımınızdaki açık ağırlıklı modellerle sınırlandırılabilir. Harici bir API’ye izin verildiğinde kişisel veriler önce maskelenir ve her istek ile yanıt kayıt altına alınır.
02Hangi modelleri kullanabiliriz?
Her modelin lisans koşullarına bağlı olarak Llama, Mistral ve Qwen gibi açık ağırlıklı model ailelerini kendi GPU’larınızda, ticari modelleri ise API’leri üzerinden kullanabilirsiniz. Uygulamalar doğrudan bir modelle değil gateway ile konuştuğu için bir model, değerlendirmeden geçtikten sonra onu kullanan uygulamalar yeniden yazılmadan değiştirilebilir.
03Bir sürümün yayına alınacak kadar iyi olduğuna nasıl karar veriyorsunuz?
Yayından önce her kullanım senaryosu için, uzmanlarca gözden geçirilmiş referans yanıtları olan gerçek sorulardan bir test seti oluşturulur; yanıtlar doğruluk, kaynağa dayanma ve politika ihlalleri açısından, iş birimiyle birlikte belirlenen eşiklere göre puanlanır. Yayından sonra canlı trafikten alınan örnekler aynı yöntemle puanlanır ve kullanıcı geri bildirimleri test setine eklenir.
04Prompt injection saldırılarına karşı nasıl korunuyorsunuz?
Katmanlı bir savunmayla. Talimatlar güvenilmeyen içerikten ayrı tutulur; kullanıcı girdileri ve getirilen pasajlar sınıflandırıcılarla taranır, araçlar ve aksiyonlar izin listeleriyle sınırlandırılır, çıktı politikaları da her yanıtı gösterilmeden önce denetler. Tek başına yeterli olan bir savunma yoktur; bu nedenle her katman, değerlendirme setindeki saldırı senaryolarıyla düzenli olarak test edilir.
05Yapay zekâ maliyetlerini nasıl kontrol altında tutarız?
Gateway, token ve GPU kullanımını ekip ve kullanım senaryosu bazında ölçer; sınıra ulaşıldığında uyaran ya da kısıtlayan bütçe ve kotalar tanımlanabilir. Rutin istekler daha küçük modellere yönlendirilir, büyük modeller gerçekten ihtiyaç duyan işlere ayrılır; maliyet kaliteyle yan yana raporlandığı için aradaki denge görünür olur.
VARDA Aperture’i kendi verinizle görün.
Kurumsal yapay zekâ için tek ve denetimli yol: model gateway’i, yetkiye duyarlı arama, değerlendirme, koruma katmanları, izleme ve onaylı model kaydı.