Ollama ve küçük modeller için ayrı bir sayfamız var — o, 1B–8B ve gömmeler çalıştıran $12'lik CPU kutusudur. Bu sayfa diğer uçtur: sizi durduran şeyin CPU değil RAM olduğu kadar büyük modeller.
Her yerde olduğu gibi baştan dürüst olalım: sunucularımız yalnızca CPU'ludur, GPU yok. Burada büyük bir model yavaş çalışır. 30B'lik bir modelde hızlı etkileşimli sohbet istiyorsanız, bir GPU barındırıcısına ihtiyacınız var — farklı ürün, farklı sağlayıcı. Yüksek bellekli bir CPU kutusunun iyi yaptığı şey, sohbet penceresi olmayan işler için büyük bir nicemlenmiş modeli gizlice çalıştırmaktır.
RAM matematiği
Model, nicemlenmiş olsun olmasın bellekte oturur, artı bağlam ve çalışma zamanı için fazladan yük:
- 13B, 4 bit — kabaca 10–16 GB. Orta bir planda bile çalışır.
- 30B sınıfı, nicemlenmiş — nicemlemeye bağlı olarak 24–48 GB. Bu Pro-32 ile Pro-64 bölgesidir.
- Daha büyük veya daha yüksek hassasiyet — 64–80 GB ve 80 GB'nin ötesinde tek bir kutumuz sığmaz. Buradaki tavan Pro-80'dir.
İşte bu yüzden "daha büyük bir yerel model çalıştır" aslında bir yüksek bellek sorusudur. Model bizzat bellek ayak izidir. Aynı ana bilgisayarda bir RAG indeksi ekleyin, sayılar üst üste yığılır.
Gizlilik önceliğinin gerçekten kazandığı yer
Mesele hız değil, maliyet de değil — mesele bazı verilerin dışarı çıkamamasıdır. Hukuki belgeler. Tıbbi kayıtlar. Sahipli kod. Komutu üçüncü taraf bir API'ye göndermenin söz konusu olmadığı her şey. Tamamen sizin makinenizde çalışan yavaş bir model, gönderdiğiniz her şeyi günlükleyen hızlı bir modeli yener. Tam resmi burada yazdık.
Ve veri o kadar hassassa, ödeme de muhtemelen gizli olmalı. Kutuyu kripto para ve KYC yok ile kiralamak, tüm zinciri — sunucu, model, komutlar, faturalandırma — kimsenin kimlik kayıtlarından uzak tutar. Sunum bu: daha ucuz çıkarım değil, başka kimsenin göremeyeceği çıkarım.
Ne seçmeli
Bağlam için yeri olan 30B sınıfı bir model için, Pro-64 (64 GB) rahat seçimdir; daha sıkı bir nicemleme Pro-32 veya Pro-48'e sığar, daha büyük olanı Pro-80'e gider. Önce modeli yükleyin, yerleşik belleği izleyin, ölçtüğünüzden boyutlandırın. Ve beklentileri ayarlayın: bu gizli toplu çıkarımdır, hızlı bir sohbet penceresi değil.
Yorumlar
Henüz yorum yok. İlk olun.