Yapay zekâ çıktıları nasıl değerlendirilir? Ürün ekipleri için rehber

Yapay zekâ özelliklerinde "çalışıyor gibi görünüyor" yeterli değildir. İstem, model veya veri değiştiğinde kalitenin artıp azaldığını bilmenin tek yolu sistematik değerlendirmedir (eval). Değerlendirme, yapay zekâ ürünlerinin test altyapısıdır.

Değerlendirme seti oluşturmak

• Gerçek kullanım örneklerinden 50–200 temsilî girdi toplayın.
• Kolay, zor ve uç durumları birlikte içersin.
• Mümkünse her örnek için beklenen cevabı veya kabul ölçütünü yazın.
• Kişisel verileri temizleyin; bkz. YZ ve KVKK.

Setinizi zamanla, kullanıcıların karşılaştığı hatalarla büyütün.

Ölçütler

Görevinize göre belirleyin:

• Doğruluk: Cevap olgusal olarak doğru mu?
• Dayanaklılık: Cevap verilen kaynaklara dayanıyor mu? Bkz. RAG.
• Tamlık ve uygunluk: Soruyu eksiksiz cevaplıyor mu?
• Biçim: İstenen formatta mı?
• Güvenlik: Zararlı veya uygunsuz içerik var mı?
• Ton ve dil: Marka sesine ve Türkçe dil kurallarına uygun mu?

Değerlendirme yöntemleri

• Kurala dayalı kontroller: Biçim, uzunluk, belirli anahtar bilgilerin varlığı
• Referansla karşılaştırma: Sınıflandırma ve çıkarma görevlerinde beklenen cevapla eşleşme
• İnsan değerlendirmesi: Uzmanların puanlaması; en güvenilir ama en yavaş yöntem
• Model ile değerlendirme: Başka bir modelin net ölçütlerle puanlaması; hızlıdır ama insan değerlendirmesiyle kalibre edilmelidir

Gerileme testleri

Her istem, model veya veri değişikliğinden önce değerlendirme setini çalıştırın ve sonuçları önceki sürümle karşılaştırın. Bunu sürekli teslimat hattının bir parçası yapın.

Canlı ortamda izleme

• Kullanıcı geri bildirimleri (beğendi, beğenmedi, düzeltti)
• Örnek konuşmaların düzenli incelenmesi
• Hata, ret ve insana devretme oranları
• Maliyet ve yanıt süresi; bkz. YZ maliyetleri

Sonuç

Değerlendirmesi olmayan bir yapay zekâ özelliği, testi olmayan bir yazılım gibidir. Küçük bir setle başlayın, her hatayı sete ekleyin ve kaliteyi sayılarla takip edin. Bu yaklaşım halüsinasyonları azaltmanın da temelidir.