يجعل Ollama تشغيل نموذج محلي عملية تثبيت من سطر واحد. هذا هو الدليل؛ للصورة الصريحة عمّا يستطيعه استدلال المعالِج المركزي وما لا يستطيعه (ونقطة RAG المثالية) راجع حالة استخدام VPS لـ Ollama واستضافة Ollama ذاتياً.
1. ثبّت Ollama
curl -fsSL https://ollama.com/install.sh | sh
يثبّت ذلك Ollama ويشغّله كخدمة systemd تستمع على localhost:11434.
2. اسحب وشغّل نموذجاً صغيراً
على جهاز بمعالِج مركزي، ابدأ صغيراً:
ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."
نماذج 3B قابلة للاستخدام حقاً على المعالِج المركزي؛ و7–8B تعمل ببضعة توكنات/ثانية (مقبول للدُفعات، مؤلم للدردشة)؛ و13B+ ستستخدم مبادلة الذاكرة وتزحف — لا تفعل.
3. استدعِ واجهة HTTP
curl http://localhost:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"ping","stream":false}'
التضمينات هي نقطة المعالِج المركزي المثالية:
ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
-d '{"model":"nomic-embed-text","prompt":"hello world"}'
4. أبقِه على localhost — اكشفه بأمان عند الحاجة
يرتبط Ollama بـ 127.0.0.1:11434 افتراضياً. أبقِه هناك. إن احتجت للوصول إليه من جهاز آخر، ضع أمامه وكيلاً عكسياً بمصادقة على خطة IP مخصّص (دليل nginx + HTTPS) أو استخدم نفق SSH — لا تكشف أبداً نقطة نهاية نموذج بلا مصادقة علناً.
الجزء الصريح
هذه نسخ بمعالِج مركزي فقط (بلا GPU). النماذج المُكمَّمة الصغيرة والتضمينات تعمل جيداً؛ الكبيرة لا. اقرِن Ollama بـ قاعدة بيانات متجهات لمكدّس RAG خاص — تضمينات محلية صغيرة مع مخزن متجهات محلي هو الإعداد الذي يتألق هنا حقاً. Medium (12$ شهرياً، 6 غيغابايت) هي الخطة المريحة. root في نحو دقيقة، بلا KYC، والدفع بالعملات المشفّرة.
التعليقات
لا تعليقات بعد. كن الأول.