Araştırma · 8 Kasım 2026
16 GB'lık bir Mac'e hangi yerel model sığar
Çıkarım ve araç çağırma için açık modelleri bellek katmanına göre karşılaştırdık. Puanlar sağlayıcı model kartlarından geliyor; Türkçe ve İngilizceyi kendimiz sınayana kadar varsayılanlarımıza geçici diyoruz.
Yerel bir model metni bilgisayarda tutar, ama ancak elinizdeki bilgisayarda iyi çalışıyorsa. Model seçmek önce bir bellek sorusu, sonra bir kalite sorusudur. Bu not adayları nasıl karşılaştırdığımızı ve bu karşılaştırmanın ne kadarına güvendiğimizi kaydeder.
Hangi iş için seçtik
Araştırma notu görev profilini söylüyor: uzun parçalardan görevleri, kararları, tarihleri, riskleri ve tutarları JSON olarak çıkarmak, özet yazmak, araç çağırmak, Türkçe ve İngilizce çalışmak. Bu "sohbet"ten dar bir iş; bu yüzden yalnızca genel bilgi puanlarına değil, araç çağırma puanlarına da baktık.
Model kartları ne bildiriyor
Not, model kartlarını araştırma gününde doğrudan okudu ve her sayıyı nasıl elde edildiğine göre işaretledi. Aynı ailenin iki boyutu için kartlar, dokuz milyar parametreli modelde 66,1, dört milyar parametreli modelde 50,3 işlev çağırma puanı (BFCL-V4) bildiriyor. Tablodaki beş modelin hepsi kartlarında Apache lisansı taşıyor.
Bunlar sağlayıcının kendi sayıları ve kendi koşum düzeneğiyle ölçülmüş. Not ayrıca, başka ölçüt sürümlerinden gelen eski puanların çok daha düşük olduğunu ve bunlarla karşılaştırılmaması gerektiğini belirtiyor.
Bellek katmanları
Dört bit nicemlemede dosyalar, milyar parametre başına yaklaşık 0,6 GB ve çalışma belleği kadar yer tutar; bu, notun kendi hesabıdır. Bundan yola çıkarak not şu varsayılanları önerdi:
- 16 GB'lık Mac: dokuz milyar parametreli model, yedek olarak dört milyar parametreli model.
- Ayrı ekran kartı olmayan Windows: dört milyar parametreli model, çünkü notun kaynak verisi büyük olanı yalnızca işlemcide saniyede kabaca sekiz ila on belirteç olarak veriyor.
- 32 GB'lık Mac: belirteç başına yalnızca birkaç milyar parametresi etkin olan, daha büyük bir uzman karışımı model.
Yayımlanmış uygulama bir katalogdan çalışır ve katalog 16 GB'lık Mac'te Qwen3 8B önerir; araştırma önerisi başka bir model ailesidir ve henüz varsayılan değildir (docs/methods/site/local-model-sizes.md). Uygulama bilgisayarınızı ölçer ve model başına sığıp sığmadığını gösterir. İki ifadeyi bilerek ayrı tutuyoruz.
Yerel model ne yapar, neye ihtiyaç duyar
Yerel model bu bilgisayarda çalışır ve internet üzerinden metin göndermez. Ollama üzerinden çalışır; Ollama aynı Mac'te kurulu ve açık olmalıdır. Yerel öncelikli terimine ve iş verisini bilgisayarınızda tutma rehberine bakın.
Kuramadıklarımız
Not zayıf noktalarını başa koyuyor, biz de tekrar ediyoruz.
- Hiçbir model için Türkçeye özgü bir ölçüt bulunamadı; Türkçe kalitesi çok dilli ortalamalardan dolaylı kanıttır.
- Apple Silicon hız sayıları eski bir modelin ölçütünden geliyor; not onları kendi tahminiyle ölçekledi.
- Birkaç adayın hiç işlev çağırma puanı yoktu; bunlar daha kötü değil, değerlendirilmedi olarak listelendi.
- Ekran kartı olmayan Windows verisi az.
Ne kararlaştırdık
Varsayılanlar geçici kalıyor. Notun sonraki adımı, Türkçe ve İngilizce parçalarda JSON dilbilgisiyle bir karşılaştırma yapmak; alan düzeyinde doğruluğu, JSON geçerliliğini ve araç çağrısı ayrıştırmayı puanlamak; ayrıca birkaç gerçek makinede gerçek hızı ölçmek. O çalışana kadar bir sıralamayı bulgu diye yayımlamıyoruz ve uygulama kendi bilgisayarınızın ölçümünden karar veriyor.
Bu notun dayandığı yerler
docs/research/local-llm/LOCAL_LLM_TIERS_2026-10-30.md,2026-10-30tarihinde model kartlarından ve tartışmalardan doğrudan okundu; hız ve boyutlar dosyada tahmin olarak işaretli.docs/methods/site/local-model-sizes.md, tarihi2026-11-06, uygulamanın kataloğu için.