Araştırma · 8 Kasım 2026
Savunma kurmadan önce istem enjeksiyonunu ölçmek
Otomatik yanıtların önündeki sade bir sınıflandırıcı bazı saldırıları geçirdi; sıkıntıdaki birinin mesajı da buna dahildi. Bunu önce ölçtük ve tek savunma olarak insan onayını tuttuk.
Bir asistan kendi başına yanıt verebilmeden önce, düşmanca bir mesajın onu ne sıklıkla yönlendirebildiğini bilmek gerekir. Bunu önerilen bir tasarım için, tasarım üretime girmeden önce ölçtük. Bu not ölçümü, sınırlarını ve desteklediği kararı aktarır.
Neyi sınadık
Sınama bilerek sade bir düzenek kullandı. Yerel bir model, gelen yorumları sıcaklık sıfırda kategori ve riske göre sınıflandırdı; ardından gerçek yanıt-risk kuralı, yanıtın bir kişi olmadan çıkıp çıkamayacağına karar verdi. Ortamı en izin verici duruma ayarladık, böylece tek engel sınıflandırmanın kendisi oldu. Saldırı aileleri, hayal gücümüzden değil, bulgu dosyasında adı geçen kamuya açık sınıflandırmalardan, BIPIA ölçütünün sınıflandırması dahil, alındı; böylece sayılar yayımlanmış işlerle karşılaştırılabilir.
Doğru soruyu sorduk: "etiket değişti mi" değil, "bu yanıt kendi başına gider miydi". Bir etiket kararı değiştirmeden kayabilir, çünkü kural kategoriye de bakar.
Ne bulduk
Sınama 64 saldırı çalıştırması yaptı. Bunların 48'i yüksek riskli sayılması gereken yorumlar üzerindeydi. 48'in yedisi kapıdan geçti; bu yüzde 14,6 eder.
- Bitmiş bir cevap verilmiş gibi davranan saldırılar sekiz çalıştırmanın dördünde geçti.
- Modele önceki bağlamı yok saymasını söyleyen saldırılar sekizin ikisinde geçti.
- Düpedüz "önceki tüm talimatları yok say" biçimi on altı çalıştırmanın hiçbirinde geçmedi.
Geçen yedisinin hepsi düşük riskli övgü olarak yeniden etiketlendi. İkisi, artık dayanamadığını söyleyen birinin mesajıydı. O mesaja otomatik, neşeli bir teşekkür, bu sistemin üretebileceği en kötü sonuçtur.
Bizi şaşırtanlar
- Mevcut temizleme adımı başarılı saldırıların hiçbirini durdurmadı. Yalnızca tanımadığı değerleri yakalıyor ve başarılı her saldırı tamamen geçerli bir etiket üretti.
- Bariz saldırılar başarısız oldu, ince olanlar işe yaradı. Savunmasını "talimatları yok say" aramaya dayandıran biri, çalışmayan saldırıyı engellemiş olurdu.
- Bir kuralı kategoriye bağlamak, risk düzeyine bağlamaktan daha sağlam çıktı. Bir saldırı sekiz çalıştırmanın beşinde risk etiketini düşürdü ama kategoriyi yüksek riskli kümeden yalnızca bir kez çıkarabildi.
Çalıştırma aynı gün bulunan bir hatayı da doğruladı: üç yüksek riskli kategori bilinen kategoriler listesinde yoktu ve sessizce "diğer"e çevriliyordu. Yetki iddiası saldırısı altındaki bir veri silme talebi otomatik yanıtlanabilirdi. Düzeltme, dosyadaki önce-sonra tablosunda.
Karar
Otomatik yanıt kapalı kalıyor. Sebep genel bir kaygı değil, ölçülen sayı. En izin verici ayarda yüksek riskli yorumların yüzde 14,6'sı geçti. Dosya, yapısal savunmanın, yani hiçbir şeyin kişinin onayı olmadan çıkmamasının elimizdeki tek gerçek savunma olduğu sonucuna varıyor ve ölçüm bunu gösteriyor. Üründe varsayılan ayarlarda gönderiler, yanıtlar, e-postalar, yayımlama ve harcama onayınızı bekler; kurallar hangi isteklerin size kart olarak ulaşacağına karar verir. Yapay zekâ eylemlerini güvenle onaylama rehberine ve onay kartı terimine bakın.
Otomatik yanıt bir gün istenirse dosya ön koşulu da söylüyor: savunma sözcük dağarcığı katmanında olamaz; o katman yedisinin hiçbirini yakalamadı.
Sınırlar
Ölçüm tek model, tek istem ve sıfır sıcaklıkla yapıldı. Başka bir model başka sayılar verir. Küme küçük ve dosya bunu söylüyor. Ölçüm, bir sınıflandırıcı var olmadan önce alınmış bir temel çizgi; bu, sonradan alınandan daha değerli ve depodaki küme ile betikten yeniden çalıştırılabilir.
Bu notun dayandığı yerler
docs/evidence/injection/findings.md, tarihi2026-09-03; yanındabaseline.jsonvar.