Giriş
Müşteri desteği için yapay zekayı test eden çoğu şirket aynı engelle karşılaşır. Sistem haftalarca sorunsuz çalışır. Sonra bir müşteriye kendinden emin ama tamamen yanlış bir cevap verir. Belki iade süresi hakkında. Belki de geçen çeyrekte değişen bir politika hakkında. Üst düzey bir yetkili bunu fark eder ve kuyruğun çoğunu kapsaması planlanan uygulama, kuyruğun sadece bir kısmında sessizce durur.
Sektör verileri, bu durumun ne kadar yaygın olduğunu doğruluyor. OpenText Capgemini ve Sogeti’nin hazırladığı 2025 Dünya Kalite Raporu’na göre, ankete katılan kuruluşların %60’ı için güvenilirlik ve hatalı sonuç verme endişeleri, yapay zeka benimsemesinin önündeki en büyük engeldi. Gong tarafından yapılan ayrı bir araştırmada ise şirketlerin %58’inin yapay zeka projelerini askıya aldığı ve planlanan yapay zeka yatırımlarının neredeyse yarısının bütçe sorunlarından ziyade güven endişeleri nedeniyle ertelendiği ortaya çıktı. Araçlar yeterince yetkin. Geride kalan ise bunlara duyulan güven.
Tek Bir Yanlış Cevabın Arkasındaki Matematik
Destek çalışmaları, ortalama doğruluğu bir ölçüt olarak cezalandıran bir şekilde asimetriktir. Doğru bir cevap birkaç dakika kazandırır. Yanlış bir cevap ise asla yapılmaması gereken bir geri ödemeyi onaylayabilir, hiç var olmayan bir politika uydurabilir veya hiç kimsenin yetkilendirmediği bir taahhütte bulunabilir. Tek bir hatanın olumsuz etkisi, yüz doğru cevabın olumlu etkisinden daha ağır bastığında, ortalama durum için optimizasyon yapmak tamamen yanlış bir hedeftir.
Daha az göze çarpan bir maliyet de vardır. Yapay zekanın bir kez yanıldığını fark eden bir destek sorumlusu, o andan itibaren her şeyi iki kez kontrol etmeye başlar ve bu da sistemin tasarruf etmesi gereken zamanın çoğunu ortadan kaldırır. Güven, her görüşme için ayrı ayrı puanlanmaz. Güven ya artar ya da çöker; bir kez çöktüğünde ise ekipler, sistem çoğu zaman doğru sonuç verse bile ona güvenmeyi bırakır.
Halüsinasyon Ortadan Kalkmaz, Yönetilir
En güçlü dil modelleri bile uygun koşullar altında uydurma bilgiler üretir ve gerçek rakamlar çoğu insanın sandığından daha yüksektir. Kendi yardım belgelerinizden yanıt vermekle esasen aynı görev olan temellendirilmiş özetleme konusunda, Vectara’nın halüsinasyon sıralaması en iyi modelleri %3 civarında gösterirken, tanınmış amiral gemisi modellerin %6 ile %15 arasında toplandığını ortaya koymaktadır. Bazı yoğun akıl yürütme gerektiren modeller, aynı görevde %20’nin üzerine çıkmaktadır; çünkü daha derin akıl yürütme, onlara kaynak metinde hiç yer almayan iddiaları ortaya atmak için daha fazla alan sağlar. Bir modeli, dayandırabileceği hiçbir şeyin olmadığı açık uçlu sorulara yönlendirdiğinizde, rakamlar çok daha kötü hale gelir. Stanford araştırmacıları, kaynak belge sağlanmadığında önde gelen modellerin belirli hukuki soruların büyük çoğunluğunda halüsinasyon ürettiğini tespit etti.
Bunların hiçbiri, belirli bir modelin kötü olduğu anlamına gelmez. Bu, tek başına kullanılan hiçbir modelin, onu denetleyen bir şey olmadan ücret ödeyen müşterilerin karşısına çıkacak kadar güvenilir olmadığı anlamına gelir.
Zeka ve Kontrol Zıt Yönlere Çekiyor
Tek bir modelin bunu kendi başına çözememesinin yapısal bir nedeni vardır. Bir sistem belirsiz veya alışılmadık vakaları ele almada daha iyi hale geldikçe, tam olarak tahmin edilmesi de zorlaşır; çünkü sistemin, kimse tarafından senaryolaştırılmamış bir vakayı ele almasını sağlayan mantık, zaman zaman onu gitmemesi gereken bir yere götüren mantıkla aynıdır. Daha yetenekli bir model, otomatik olarak daha güvenli bir model anlamına gelmez. Bu ödün verme durumu, güvenilirliğin modelin kendisinden beklenmek yerine, modelin etrafında bir katman olarak tasarlanması gerektiğinin nedenidir.
Aissist, bu konuya tek bir teknik yerine dört katmanlı bir yaklaşımla ele alır. Prompt mühendisliği, her görevin uyması gereken temel kuralları belirler; bu, tek bir müşteri talebinin, hepsinin aynı güvenlik sınırlarına uyması gereken bir düzineden fazla alt göreve dönüşebildiği ajan tabanlı bir sistemde daha da önemlidir. Bir “booster” adımı, belirsiz kararları birden fazla kez çalıştırır ve ekstra hesaplama maliyeti karşılığında çoğu ajanın üzerinde anlaştığı cevabı korur. Bir “kendi kendini denetleme” aşaması, herhangi bir şey müşteriye ulaşmadan önce sistemin kendi çıktısını gözden geçirmesini veya farklı bir rolde bulunan ikinci bir modele devretmesini sağlar. Ve tüm bunların üzerinde yer alan “yığılmış yönetişim katmanı”, bir çıktı veya eylemin dışarı çıkmadan önce politikaya uygun olup olmadığını kontrol eder; bu katman, bir filtreden çok tüm sistem için bir denetleyici gibi işlev görür.
Bu kombinasyon sayesinde platform, yapay zeka hata oranını %1’in altında tutmaktadır; bu rakam, bu alandaki çok az sayıda tedarikçinin hata oranını yayınlaması nedeniyle özellikle dikkat çekicidir.
Ne Zaman Cevap Verilmeyeceğine Karar Verme
Bir destek temsilcisinin en değerli davranışı, daha fazla soruyu doğru cevaplamak değildir. Asıl önemli olan, hangi soruları tek başına cevaplamaya çalışmaması gerektiğini fark etmektir. Zorlu bir fatura anlaşmazlığını erken aşamada, tüm bağlamı da ekleyerek üst düzeye yönlendiren bir sistem, işleri zorlayıp tahminde bulunan bir sistemden çok daha az zarar verir. Bu aynı zamanda, bir çözümü anlatan temsilciyi, siparişi bulup değişikliği uygulayan ve bunu müşteriye teyit eden temsilciden ayıran unsurdur.
Güvenilirlik Sadece Oluşturulmamalı, Sürdürülmelidir
Lansman gününde doğru çalışan bir sistem, onu izleyen bir şey olmadan bu şekilde kalamaz. Ürünler değişir, politikalar güncellenir ve müşterilerin sorduğu sorular da bunlara paralel olarak değişir. Sürekli ölçüm, bu değişimi bir şikayet dalgası olarak değil, veri olarak yakalar ve disiplinli bir değerlendirme, test ve yayın döngüsü, tespit ettiği boşlukları kapatmaya devam eder; her şeyin gerçek anlamda değişmesinden önce yine bir insan tarafından onaylanır.
Bir Tedarikçiye Güvenmeden Önce Gerçekten Kontrol Edilmesi Gerekenler
AI’sının asla hata yapmadığını iddia eden herhangi bir satıcı şüpheyle karşılanmalıdır, çünkü bu genellikle, aksini bilmek için yeterince yakından ölçüm yapan kimsenin olmadığı anlamına gelir. Ciddiye alınmaya değer olanlar, hata oranını yayınlar, müşterilerin farkına varmadan önce hataları nasıl tespit ettiklerini tam olarak açıklar ve sistemin tahminde bulunmak yerine ne zaman bir insana devredeceğini açıkça belirtir. Bu, “AI’ya güvenin” söyleminden çok farklı bir yaklaşımdır ve gerçek bilet hacmi sisteme ulaştığında gerçekten işe yarayan da budur.
