Yapay zekâ iş başında: Peki kontrol kimde?

Bir belgeyi özetlemesini, müşteri mesajlarını sınıflandırmasını veya bir rapor hazırlamasını istiyoruz. Ardından bu işleri yapabilmesi için dosyalarımıza, e-postalarımıza ve kullandığımız uygulamalara erişim sağlıyoruz.

İşte tam bu noktada, yapay zekânın ne kadar başarılı olduğu kadar önemli başka bir soru ortaya çıkıyor:

Verdiğimiz işi yaparken ne kadar ileri gidebilir?

Bir e-postayı hazırlamakla göndermek, bir dosyayı incelemekle değiştirmek aynı şey değil. Ancak bu işlemleri aynı sistemin gerçekleştirebildiği bir ortamda, aradaki sınırın açıkça belirlenmesi gerekiyor.

NVIDIA’nın 28 Eylül’de duyurduğu Open Agent Safety Platform, bu ihtiyaca yönelik bir adım. Şirket, kullanıcı adına görev yürüten yapay zekâ sistemlerinin faaliyetlerini denetlemeyi ve yetki sınırlarını aşmalarını engellemeyi amaçlıyor.

Bu gelişmeyi, yapay zekâyı iş hayatına taşırken cevaplamamız gereken temel bir sorunun işareti olarak okumak mümkün:

İşi devrederken kontrolü nasıl koruyacağız?

Cevap veren sistemden işlem yapan sisteme

“Yapay zekâ ajanı” ifadesi teknoloji haberlerinde giderek daha sık karşımıza çıkıyor.

Kavramın arkasındaki fikir aslında basit: Kullanıcının belirlediği bir hedef için gerekli adımları planlayan ve erişimine açılan araçları kullanarak işlem gerçekleştiren bir sistem.

Örneğin bir toplantının hazırlığını düşünelim.

Bir sohbet uygulamasından toplantı gündemi yazmasını isteyebilirsiniz. Bir ajana ise gerekli izinleri vererek takvimi kontrol etme, ilgili belgeleri bulma ve davet taslağı hazırlama görevlerini birlikte yaptırabilirsiniz.

Bu kolaylık, beraberinde daha dikkatli bir yetkilendirme ihtiyacı getiriyor.

Çünkü ekrandaki yanlış bir öneriyi fark edip düzeltebilirsiniz. Yanlış kişiye gönderilmiş bir belgenin etkisini geri almak ise çok daha zor olabilir.

Bu nedenle başarıyı yalnızca görevin tamamlanıp tamamlanmadığıyla ölçmek yeterli değil. Görevin hangi bilgilere erişilerek ve hangi işlemler yapılarak tamamlandığı da önem taşıyor.

NVIDIA ne öneriyor?

Duyurulan platformun iki temel bileşeni OpenShell ve Sentry.

NVIDIA’nın açıklamasına göre OpenShell, ajanların çalıştığı ortamda belirlenen kuralları uyguluyor ve işlemleri izliyor. Sentry ise ayrı bir donanım katmanında faaliyetleri denetleyerek sınırların dışına çıkmaya çalışan ajanlara müdahale etmeyi amaçlıyor.

Şirket, Sentry’nin bu tür girişimlerde ajanı milisaniyeler içinde durdurup izole edebildiğini belirtiyor.

Bu, şirketin açıkladığı bir yetenek. Her koşulda bütün risklerin ortadan kalktığı anlamına gelmiyor.

Yaklaşımın dikkat çeken tarafı, denetimin modelin dışındaki katmanlarla desteklenmesi. Böylece güvenlik yalnızca yapay zekâya verilen talimatlara değil, çalıştığı ortamın uyguladığı sınırlara da dayanıyor.

Bir işletmede bunun karşılığı ne?

Bursa’da üretim yapan ve farklı ülkelerdeki müşterilerle çalışan bir firma düşünelim.

Firma, gelen talepleri incelemesi ve teklif taslakları hazırlaması için bir yapay zekâ sistemi kullanıyor. Sistemin ürün kataloglarını, teslimat bilgilerini ve onaylanmış fiyat listesini okuyabilmesi işini kolaylaştıracaktır.

Ancak görevi teklif hazırlamaksa, bütün müşteri sözleşmelerine, çalışanların kişisel bilgilerine veya şirketin banka işlemlerine erişmesi gerekir mi?

Erişim, verilen görevle sınırlı olmalı. Üstelik taslak hazırlama yetkisi, teklifi müşteriye gönderme yetkisini kendiliğinden içermemeli. Fiyat değiştirmek, indirim uygulamak veya teslimat taahhüdünde bulunmak için ayrıca onay gerekebilir.

Bir çalışana işe başladığı gün şirketin bütün sistemlerinin anahtarını vermediğimiz gibi, yapay zekâya da ihtiyaç duymadığı yetkileri vermek gerekmiyor.

Belge okumak onu silebilmeyi, ödeme raporu hazırlamak ödeme yapabilmeyi, mesaj taslağı oluşturmak mesajı gönderebilmeyi gerektirmez.

Burada önemli olan, insan onayının nerede devreye gireceğini doğru belirlemektir.

Her adımda onay istemek otomasyonu yavaşlatabilir. Hiçbir adımda onay istememek ise hatanın etkisini büyütebilir. Bir dosyayı sınıflandırmakla şirket adına bağlayıcı bir teklif göndermek aynı denetim düzeyinde ele alınmamalıdır.

Güven, yapılan işlemi görebilmekle başlar

Bir işletme yapay zekâya görev vermeden önce yetki sınırlarını belirlemeli:

Sistem hangi verilere erişebilir? Hangi işlemleri tek başına yapabilir? Nerede durup onay istemelidir?

Yapılan işlemlerin kaydı tutulmalı ve gerektiğinde sistemin erişimini kesebilecek sorumlu kişi belli olmalıdır.

Bu yalnızca büyük şirketlerin meselesi değil. Küçük bir işletmede yanlış gönderilen tek bir fiyat listesi veya silinen bir müşteri kaydı da ciddi sonuçlar doğurabilir.

NVIDIA’nın duyurusu, yapay zekâ tartışmasını yetki ve denetim açısından ele almak için güncel bir örnek sunuyor. Ancak hiçbir güvenlik ürünü, işletmenin kendi süreçlerini ve yetki sınırlarını belirleme sorumluluğunu ortadan kaldırmıyor.

Bir yapay zekâ sistemi işe alınırken sorulacak sorular bu yüzden çoğalıyor:

Ne kadar hızlı çalışıyor? Ne kadar doğru sonuç üretiyor? Hangi bilgilere erişiyor? Hangi işlemleri yapabiliyor? Gerektiğinde nasıl durduruluyor?

Güvenilir otomasyon, bu soruların birlikte cevaplandığı yerde başlıyor.

Yapay zekâya daha fazla iş verebiliriz. Kontrolü korumanın yolu ise hangi yetkiyi, hangi amaçla verdiğimizi bilmekten geçiyor.