Yapay zekâ güvenliği: istem enjeksiyonu ve diğer riskler

Yapay zekâ özellikleri, geleneksel yazılım güvenliğine ek olarak yeni saldırı yüzeyleri getirir. Model, kullanıcıdan veya okuduğu içerikten gelen metni talimat olarak yorumlayabildiği için bu riskler özellikle önemlidir. Genel güvenlik temelleri için siber güvenlik rehberimize bakın.

İstem enjeksiyonu

İstem enjeksiyonu, saldırganın modele verilen metnin içine talimatlar yerleştirerek modelin davranışını değiştirmeye çalışmasıdır.

• Doğrudan: Kullanıcı, "önceki talimatları yok say" gibi ifadelerle sistemi kandırmaya çalışır.
• Dolaylı: Model tarafından okunan bir e-posta, belge veya web sayfası gizli talimatlar içerir. Özellikle araç kullanan YZ ajanları için tehlikelidir.

Diğer riskler

• Veri sızıntısı: Modelin, kullanıcının görmemesi gereken belgeleri veya sistem talimatlarını açığa çıkarması
• Yetkisiz eylemler: Ajanların e-posta göndermesi, veri silmesi veya ödeme başlatması gibi kritik işlemleri kötüye kullanılması
• Kötüye kullanım: Ürünün spam, dolandırıcılık veya zararlı içerik üretimi için kullanılması
• Maliyet saldırıları: Aşırı kullanımla faturanın şişirilmesi; bkz. YZ maliyetleri

Savunma ilkeleri

1. Model girdisine güvenmeyin: Modelin çıktısını da güvenilmeyen kullanıcı girdisi gibi ele alın; doğrudan kod çalıştırma veya sorguya dönüştürme yapmayın.
2. En az yetki: Modele ve ajanlara yalnızca görev için gereken araç ve verilere erişim verin; erişim yetkilerini model değil, uygulama denetlesin.
3. İnsan onayı: Geri alınamaz ve hassas eylemlerden önce kullanıcı onayı isteyin.
4. Talimat ve veriyi ayırın: Sistem talimatlarını kullanıcı içeriğinden ve dış belgelerden açıkça ayırın; bkz. prompt rehberi.
5. Çıktı filtreleri: Hassas veri, zararlı içerik ve beklenmeyen biçimler için kontrol uygulayın.
6. Hız sınırlama ve izleme: Anormal kullanım kalıplarını tespit edin.
7. Kayıt tutma: İstemleri, araç çağrılarını ve kararları denetlenebilir şekilde kaydedin (kişisel verilere dikkat ederek); bkz. YZ ve KVKK.

Güvenlik testleri

• Değerlendirme setinize saldırı senaryoları ekleyin; bkz. model değerlendirme.
• Ürün yayına çıkmadan önce ekip içinde "kırmızı takım" denemeleri yapın.
• Güvenlik araştırmacılarının bildirim yapabileceği bir kanal açın.

Sonuç

İstem enjeksiyonunu tamamen engellemek bugün mümkün değildir; bu yüzden asıl hedef, başarılı bir saldırının vereceği zararı sınırlamaktır. Güvenliği tasarımın ilk gününden düşünen ürünler, kurumsal müşterilerin güvenini kazanır; bkz. sorumlu yapay zekâ.