ہم NVIDIA Tesla P40 (24 GB VRAM، Pascal architecture) کے ساتھ GPU سرور تیار کر رہے ہیں LLMs جیسے Llama، Mistral اور Gemma کو Ollama کے ساتھ چلنے کے لئے. GPU سرور ابھی تک سفارشی نہیں ہیں؛ جب وہ ہوں تو ہمیں اطلاع دینے کے لیے رابطہ کریں.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# مثالی انسٹال کمانڈ
Ollama آپکے خود ميشين پر بڑے زباني ماڈل چلنے کے ليے ھيں ۔GPU سر ور پر ماڈل CPUکے بجائے GPU پر چلتا هے ، جو جواب کو بہت جلدي بنا تا هے
ليما ، ميسٹرل ، جمما ، فائ ، Qwen اور ایک کمانڈ کے ساتھ بہت سے ماڈل پکڑيں
7B سے 13B ماڈل کو آرام سے اور 30B ماڈل کے ارد گرد جب quantumized. 70B ماڈل ایک 24GB کارڈ پر عام quantumization سطح پر نہیں فٹتے.
آپ کے سرور پر پروموشن اور ڈیٹا رہتا ہے، کوئی تیسری پارٹی API کالز کے ساتھ.
اولما ایک اوپن اے آئی-مطابقت رکھنے والے انتہا نقطے کو ظاہر کرتا ہے جو بہت سے موجود کلائنٹس استعمال کر سکتے ہیں۔
Ollama اسکے کام کو تیز کرنے کے ليے NVIDIA GPU استعمال کر سکتا هے VPS.org GPU سرور ابھی تک سفارش کے ليے دستياب نهيں هے جب وہ هے تو سنا نے کے ليے ہم سے رابطہ کريں Ollama بنيادي طور پر LLM-inference / چٹ ورک لوڈ هے آپ کو ديسک سے ميم ري ميں جلدي ريا ں ريا ئے اور ماڈل اور سياق وينڈوز کے ليے کافی VRAM چا هيے گا
GPU سرور ابھی تک سفارش کے ليے دستياب نهيں هے آج آپ Ollama کو ري گيول سي پي يو پلان پر چلا سکتے هيں جہاں اس کا کام GPU سے سست ہوتا هے: SSH داخل کريں اور curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 چلائيں
LLM انفریشن VRAM ماڈل پیرامیٹرز کے ساتھ پیمانے پر: ایک 7B ماڈل VRAM کی تقریباً 5 سے 8 GB کی ضرورت ہے اور ایک 13B ماڈل تقریباً 10 سے 14 GB، جبکہ 70B-کلاس ماڈل کی ضرورت کئی GPUs یا سنگین quantumization.
GPU کی قیمتوں کو شائع کیا جائے گا جب GPU سروروں کو آرڈر کیا جاسکتا ہے. اگر آپ کو اس بات کو سننا چاہے تو ہم سے رابطہ کریں.
ہاں ہر VPS.org سرور مکمل روٹ رسائی کے ساتھ آتا ہے، تو آپ سرور کے RAM اور محفوظہ کے اندر Ollama کے ساتھ دوسرے ٹولز چلا سکتے ہیں.
ہر VPS.org سرور مکمل روٹ SSH رسائی کے ساتھ آتا ہے، تو آپ ڈرائیورز، لائبریری اور Ollama کو انسٹال کر سکتے ہیں جیسے آپ کو ضرورت ہے۔
نہیں کوئی سرور CUDA رن ٹائم یا NVIDIA ڈرائیور سے پہلے سے انسٹال کیے ہوئے نہیں آتا اور GPU سرور ابھی تک سفارش کے لیے دستیاب نہیں ہیں آپ خود انسٹال کریں Ollama نسخے کی ضرورت ہے.
ہاں. VPS.org سرور ثابت ورچوئل مشینیں ہیں، نہ کہ عارضی مثالیں: Ollama ماڈل، کنفگ اور ڈیٹا سرور کے SSD ذخیرے پر رہتے ہیں جب تک آپ انہیں حذف نہ کریں.
Ollama کے دوران تیز رسائی کے لیے سرور کے SSD پر کام کرنے والے ڈیٹا کو محفوظ رکھیں، اور ختم ہونے والے آرٹیفیکٹس (وزن، نسل، embeddings) کو VPS.org کے باہر کی اسٽوریج میں کاپی کریں؛ سناپ شاٹ اور بک اپ ایک ہی اسٽوریج کلسٹر پر رہتے ہیں۔
آپ کنٹرول پینل سے کوئی VPS.org سرور کو ایک بڑے پلان میں اپگریڈ کرسکتے ہیں؛ اس کو دوبارہ سائز کرنے سے اس کا دوبارہ شروع ہونا اور آپ کی Ollama انسٹالیشن کا منتقل ہونا. GPU سرور اب تک دستیاب نہیں ہیں.
ہاں. بک اپ ایک ادائیگی اضافی ہے (دن دن +30% پلان قیمت، 7 دن محفوظ؛ ہفتہ وار +20%, 28 دن محفوظ) اور سناپ شاٹ مفت ہیں، جو طویل Ollama چلنے سے پہلے مفید ہے. دونوں سرور کے طور پر ایک ہی محفوظ کلسٹر پر رہتے ہیں.
واپسی کی درخواست کرنے کے لیے آپ کی پہلی خریدار کے 30 دن کے اندر سہولت سے رابطہ کریں.GPU سرور ابھی فروخت نہیں کیے گئے ہیں، اس لیے کوئی GPU آرڈر شامل نہیں ہے.
GPU کی صلاحیت محدود ہے ہمیں اپنے ورک لوڈ کے بارے میں بتائیں اور ہم دستیابی اور قیمت کے ساتھ جواب دیں گے.