İçeriğe geç
İndir

Araştırma · 8 Kasım 2026

Dokuz milyar parametreli yerel bir ajan neyi geçiyor ve bu skor ne anlama geliyor

Dokuz milyar parametreli yerel bir modeli on iki görev kategorisinden geçirdik. Bir çalıştırma bir değişikliği dışarıda tuttu, sonraki skoru yükseltti. İkinci çalıştırmanın denetimi, yükselişin ne kadarına inanılacağını söylüyor.

Bir model kendi bilgisayarınızda çalışırken "işe yarıyor mu" sorusunun cevabı his değil test olmalı. Bu not yerel bir ajanın iç çalıştırmalarından ikisini ve daha da önemlisi onlardan çıkardığımız sonuçları aktarır. Bunlar kendi görev takımımız üzerinde kendi testlerimiz. Başka ürünler hakkında bir şey söylemezler.

Düzenek

İki çalıştırma da aynı takımı kullandı: web arama, çıkarım, form doldurma, dosya işlemleri, hafıza hatırlama, Türkçe büyük küçük harf ve tarihler, istem enjeksiyonu gibi on iki görev kategorisi. Her kategori altı kez çalıştı, üçü Türkçe üçü İngilizce. Model, dört bit nicemlenmiş dokuz milyar parametreli açık bir modeldi ve tek bir Apple Silicon Mac'te llama.cpp ile sunuldu. Takım özeti sonuç dosyalarında kayıtlı; takım değişirse görülür.

Birinci çalıştırma: bekletilen bir değişiklik

İlk çalıştırma mevcut ajan çekirdeğini yeni bir döngü tasarımıyla karşılaştırdı. Mevcut çekirdek 72 çalıştırmanın 40'ını, yeni döngü 38'ini geçti. Terfi kuralını çalıştırmadan önce yazmıştık: hiçbir kategori iki ya da daha fazla düşmeyecek, toplam en az eşit olacak ve yıkıcı eylem olmayacak. Yeni döngü ilk iki kuralda kaldı. Dosyadaki hüküm HOLD.

İzler nedenleri verdi. Bir kategoride yeni döngünün planlama adımı reddetmesi gereken bir satın almayı planladı ve yerel bir yargıç doğru bir reddi geri çevirdi. Başka bir kategoride model Türkçe şehir adlarını yanlış noktalı ve noktasız harflerle yazdı. Dosya ayrıca mevcut çekirdeğin üç çalıştırmada yaptığı yıkıcı bir dosya silmeyi kaydediyor; yeni döngü bunu yapmadı. Değişikliği dışarıda tuttuk ve dosya bunu açıkça söylüyor.

Bir yöntem dersi: sıcaklık sıfırdayken motor açgözlü çözer ve tohumu yok sayar; bu yüzden önceki tekrarlar fiilen birer çalıştırmaydı. Tekrarlar farklılaşabilsin diye çalıştırma, model kartının örnekleme ayarlarına geçti.

İkinci çalıştırma: yükselen skor, dikkatle okunmuş

Koşum düzeneği ve araçlardaki düzeltmelerden sonra sonraki çalıştırma aynı on iki kategoride 72'nin 66'sını geçti; önceki başlangıç noktasında 38'di. Kapı kapalı kaldı: iki kategori hâlâ altıda dört idi, yani yüzde 80 çubuğunun altındaydı ve hedef tam geçiş artı gizli bir kümeydi.

Ayrı bir denetim bu çalıştırmanın 72 izinin tamamını okudu. Hükmü "kısmen". 66, bu ajan ve bu araç takımının bu sınama verilerindeki gerçek skoru; işi yapmadan alınmış bir geçiş bulmadı. Ama yükselişin çoğu, aynı görevler ve tohumlar teşhis edildikten sonra yapılan koşum düzeneği ve araç değişikliklerinden geliyor. Denetim buna teste göre ayarlanmış skor diyor ve genellemenin kanıtı olmadığını söylüyor. Ayrıca bir kategorinin hiç model ölçümü olmadığını, çünkü bir kod denetiminin herhangi bir model çağrısından önce reddettiğini ve bir tıklama testinin aynı noktaya altı kez düştüğünü buldu.

Ne sonuç çıkarıyoruz

  • Üzerine ayar yaptığınız bir takımdaki skor takımı ölçer. Gizli bir küme tutun.
  • Terfi kuralını çalıştırmadan önce yazın ve "hayır" demesine izin verin.
  • İzleri okuyun. Birinci çalıştırmadaki nedenler toplamlarda değil, kayıtlardaydı.
  • Kategori başına altı çalıştırma azdır ve aralıkların çoğu çakışır. Çalıştırma bu yüzden güven aralıkları bildiriyor.

Bu yüzden bu sitede tek bir "yerel ajan başarı oranı" yayımlamıyoruz. Böyle bir ajanın çevresinde onayların nasıl durduğu için ajan ekibi terimine ve doğrulayıcı terimine bakın.

Bu notun dayandığı yerler

  • docs/evidence/lm/eval/m0-final-2.md, birinci çalıştırma, tarihi 2026-10-31.
  • docs/evidence/lm/eval/c1a.md, ikinci çalıştırma, tarihi 2026-11-03.
  • docs/research/remote/c1a-benchmark-audit.md, ikinci çalıştırmanın denetimi, tarihi 2026-11-03.

Kaynaklar