A5 — Uygulamalı Zekâ
Özel Yapay Zekâ Sistemleri
Deneyden üretime
Uygulama alanı A5
Bir prototip oluşturmak kolaydır. Onu gerçek bir kurumun içinde güvenilir şekilde çalıştırmak çok farklı bir mühendislik problemidir. Modelleri kurumsal verilere, uygulamalara, iş akışlarına ve kullanıcılara bağlıyoruz.
Etkileyici bir demo değil, gerçek dünyada çalışan yapay zekâ.
- 01Veri
- 02Eğitim
- 03Değerlendirme
- 04Entegrasyon
- 05Yayına alma
- 06İzleme
- 07İyileştirme
Gerçek problemler
Gerçek problemler → Yaklaşımımız
- 01
Hiç canlıya çıkmayan pilot
Temiz bir örneklem üzerinde hazırlanan demo etkileyicidir, sonra olduğu yerde kalır. Gerçek veri çok daha dağınıktır, entegrasyon hiç planlanmamıştır ve proje ekibi dağıldığında modelin bir sahibi kalmaz.
YaklaşımımızTüm modeller için tek geçit
Kurum içinde çalışan ya da harici bir API üzerinden erişilen her model çağrısı; kimlik doğrulama, istek sınırlama, kişisel veri filtreleme, kayıt ve maliyet takibi uygulayan tek bir gateway’den geçer.
- 02
Dışarı çıkamayan veri
Müşteri kayıtları, sözleşmeler ve kurum içi dokümanlar, yapay zekâyı faydalı kılan verinin ta kendisidir. Tam da bu yüzden, kontrolsüz biçimde harici bir servise gönderilemez.
YaklaşımımızErişim yetkilerine bağlı retrieval
Kurumsal dokümanlar erişim yetkileriyle birlikte indekslenir; böylece bir asistan yalnızca soruyu soran kişinin okuma yetkisi olan içerikten yararlanır ve kullandığı her kaynağı gösterir.
- 03
Ölçülmesi zor kalite
Dil modelleri aynı anda hem akıcı hem de yanlış olabilir. Bir değerlendirme seti ve puanlama yöntemi olmadan yapılan her değişiklik bir tahminden ibarettir.
YaklaşımımızYayından önce ve sonra değerlendirme
Her kullanım senaryosunun sürümlenmiş bir değerlendirme seti ve puanlama yöntemi vardır. Model, prompt ya da retrieval tarafındaki her değişiklik önce çevrimdışı test edilir, ardından üretimde kalite, kayma, gecikme ve maliyet açısından izlenir.
- 04
Geç devreye giren yönetişim
Risk, hukuk ve güvenlik ekiplerinden, sistem kurulduktan sonra onay vermeleri istenir. Model envanteri, onay süreçleri ve kayıtlar yoksa yanıt çoğu zaman ya ret ya da uzun bir gecikme olur.
YaklaşımımızBaştan kurgulanan yönetişim
Model kayıt defteri sürümleri, sahipleri, onayları ve amaçlanan kullanımı kayıt altına alır. Guardrail’ler ve insan incelemesi her kullanım senaryosu için ayrı yapılandırılır; kullanıcı geri bildirimleri bir sonraki iyileştirme döngüsüne akar.
Bu alanın ürünü
VARDA Aperture
Kurumsal yapay zekâ üretim platformu
Yapay zekâ, sizin belirlediğiniz ölçüde içeri girer.
Kurumsal yapay zekâ için tek ve denetimli yol: model gateway’i, yetkiye duyarlı arama, değerlendirme, koruma katmanları, izleme ve onaylı model kaydı.
- Model ve LLM gateway’i
- Yetkiye duyarlı arama
- Değerlendirme altyapısı
- Koruma katmanları ve politikalar
Örnek senaryolar
Örnek senaryolar
Senaryolar temsilidir; gerçek müşteri vakalarını anlatmaz.
- 01
Çağrı merkezi için prosedür asistanı
DurumBölgesel bir elektrik dağıtım şirketinin çağrı merkezi temsilcileri, müşterilere yanıt verebilmek için yüzlerce prosedür ve mevzuat duyurusu arasında arama yapıyor; verilen yanıtlar temsilciden temsilciye değişiyor.
SonuçKurum içinde çalışan bir asistan yalnızca güncel prosedürlerden yanıt üretiyor, dayandığı paragrafı gösteriyor ve güven düşük olduğunda soruyu bir süpervizöre aktarıyor. Yanıtlar tutarlı hâle geliyor; güncelliğini yitirmiş dokümanlar da sahiplerine işaretleniyor.
- 02
Gizlilik altında sözleşme incelemesi
DurumBir holdingin hukuk ekibi, tedarikçi sözleşmelerini standart dışı maddeler açısından elle inceliyor. Dokümanlar gizli ve harici bir yapay zekâ servisine gönderilemiyor.
SonuçGrubun kendi GPU’ları üzerinde çalışan açık ağırlıklı bir model, standart madde kütüphanesinden sapmaları işaretliyor ve her birini açıklıyor. Avukatlar önce işaretlenen maddeleri inceliyor; modelin her çıktısı kayda geçiyor.
- 03
Pilottan üretime
DurumBir telekom operatörünün müşteri kaybı tahmini pilotu geçmiş veride iyi sonuç verdi; ancak kampanya sistemine hiç bağlanmadı ve hâlâ geçerli olup olmadığını kimse bilmiyor.
SonuçModel tekrarlanabilir bir pipeline üzerinde yeniden kuruluyor, sahibi ve onaylarıyla birlikte kayıt altına alınıyor ve bir API üzerinden kampanya platformuna sunuluyor. Kayma izleme ve düzenli challenger karşılaştırmaları, model kalitesini sürekli görünür tutuyor.
Uyum ve yönetişim
Uyum ve yönetişim
- AB Yapay Zekâ Yasası’nın risk temelli yükümlülüklerini desteklemek üzere tasarlanır: her kullanım senaryosu yasanın risk sınıflarına göre değerlendirilir; yüksek riskli sistemler insan gözetimi ve olay kayıtlarıyla belgelenir.
- KVKK ve GDPR gereksinimlerini desteklemek üzere tasarlanır: kişisel veriler bir modele ulaşmadan önce filtrelenir ya da maskelenir, işleme tamamen kendi ortamınızda tutulabilir.
- Rol bazlı model ve veri erişimi ile her isteğin kayıt altına alınması sayesinde ISO/IEC 27001 tarzı kontrolleri desteklemek üzere tasarlanır.
- Düzenlemeye tabi sektörlerdeki model yönetişimi beklentilerini desteklemek üzere tasarlanır: her modelin bir sahibi, belgelenmiş bir doğrulaması ve onay izi vardır.
Sık sorulan sorular
Sık sorulan sorular
01Yapay zekâ pilotları neden çoğu zaman üretime geçemeden takılıyor?
Genellikle modelle ilgisi olmayan nedenlerle: yalnızca bir kez çalıştırılmış veri akışları, kararların verildiği sistemlere yapılmamış entegrasyonlar, sahipsiz modeller ve risk ile güvenlik ekiplerine sistemin nasıl davrandığını gösterecek bir yöntemin olmaması. Bu parçaları ilk günden planlıyoruz; böylece pilot, ayrı bir prototip değil, üretim sisteminin ilk sürümü olur.
02Büyük dil modellerini veriyi dışarı göndermeden kullanabilir miyiz?
Evet. Açık ağırlıklı modeller kendi GPU sunucularınızda çalışabilir; vLLM ile ve harici modellerle aynı gateway’in arkasında servis edilir. Harici bir API’yi tercih ettiğiniz durumlarda ise gateway kişisel verileri filtreler ve her isteği kayıt altına alır.
03Bir yapay zekâ sisteminin yeterince iyi olduğuna nasıl karar veriyorsunuz?
Sistem kurulmadan önce üzerinde anlaşılan ölçütlere göre. Her kullanım senaryosu için zor vakaları da içeren, gerçek örneklerden oluşan bir değerlendirme seti ve ona uygun bir puanlama yöntemi belirlenir: doğruluk, kaynağa dayanma, yanıt vermeyi reddetme davranışı ya da bir iş sonucu. Mevcut sürümün altında puan alan bir sürüm canlıya alınmaz.
04Hangi modellerle çalışıyorsunuz?
Belirli bir modele bağlı değiliz. Göreve ve kısıtlarınıza göre bu; açık ağırlıklı dil modelleri, ticari API’ler ya da klasik makine öğrenmesi modelleri olabilir, çoğu zaman da bunların bir birleşimi. Gateway ve değerlendirme altyapısı sayesinde, modelleri kullanan uygulamaları yeniden yazmadan model değiştirebilirsiniz.
Özel Yapay Zekâ Sistemleri için doğru mimariyi birlikte kuralım.
Yapay zekâyı prototipten üretime taşımak: verinize, uygulamalarınıza ve kullanıcılarınıza bağlanan; değerlendirilen, sınırları çizilen ve izlenen modeller.