NVIDIA Tesla P40 (24 GB VRAM ، Pascal architecture) پر خود- مہمان Meta کے Llama ماڈل تمام دقت پر 8B ماڈل اور بڑے ماڈل کو مناسب جب quantumized GPU سرور ابھی تک سفارشي نہیں هے جب وہ هے تو ہمیں اطلاع کريں
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# مثالی انسٹال کمانڈ
لما ميٹا کے خاندان کے کھلے طور پر دستياب بڑے زباني ماڈل هے آپکے GPU سرور پر لما چلنا پرو موٹ اور ڈیٹا کو ذاتي رکھتا هے
8B ماڈل کو 24GB VRAM پر چلاتا ہے. 70B ماڈل کو ایک 24GB کارڈ پر عام کونٹائزیشن سطحوں پر نہیں فٹ سکتا.
آپ کے پروموشن اور ڈیٹا آپ کے سرور پر رہتے ہیں، کوئی تیسری پارٹی API کالز کے ساتھ.
llama.cpp يا Ollama يا مقامي PyTorch وزن کے ساتھ GGUF استعمال کريں
او لما يا ملاما سي پي پي سر ور کے ساتھ ماڈل سروس کريں OpenAI-compatible اينڈ پو اينٹ کے ليے
LLaMA اسکے کام کو تیز کرنے کے ليے NVIDIA GPU استعمال کر سکتا هے VPS.org GPU سرور ابھی تک سفارش کے ليے دستياب نهيں هے ، جب وہ هے تو سنا نے کے ليے ہم سے رابطہ کريں LLaMA عام GPU تيز رفتار کار لوڈ هے يقين کريں کہ آپکے سوفٹ و ير CUDA کي مدد هے اور آپکے ڈرائيور / رن ٹائم ورژن LLaMA کے ليے کار لوڈ کي ضرورتوں سے ميچتے هيں
GPU سرور ابھی تک سفارش کے ليے دستياب نهيں هے آج آپ LLaMA کو ري گيول سي پي يو پلان پر چلا سکتے هيں جہاں اس کا کام GPU سے سست ہوتا هے: SSH داخل کريں اور curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 چلائيں
LLaMA کے لیے VRAM کی ضرورت ماڈل اور بٹک سائز پر منحصر ہے؛ جاری اعدادوشمار کے لیے پروجیکٹ دستاویزی کو چکیں.
GPU کی قیمتوں کو شائع کیا جائے گا جب GPU سروروں کو آرڈر کیا جاسکتا ہے. اگر آپ کو اس بات کو سننا چاہے تو ہم سے رابطہ کریں.
ہاں ہر VPS.org سرور مکمل روٹ رسائی کے ساتھ آتا ہے، تو آپ سرور کے RAM اور محفوظہ کے اندر LLaMA کے ساتھ دوسرے ٹولز چلا سکتے ہیں.
ہر VPS.org سرور مکمل روٹ SSH رسائی کے ساتھ آتا ہے، تو آپ ڈرائیورز، لائبریری اور LLaMA کو انسٹال کر سکتے ہیں جیسے آپ کو ضرورت ہے۔
نہیں کوئی سرور CUDA رن ٹائم یا NVIDIA ڈرائیور سے پہلے سے انسٹال کیے ہوئے نہیں آتا اور GPU سرور ابھی تک سفارش کے لیے دستیاب نہیں ہیں آپ خود انسٹال کریں LLaMA نسخے کی ضرورت ہے.
ہاں. VPS.org سرور ثابت ورچوئل مشینیں ہیں، نہ کہ عارضی مثالیں: LLaMA ماڈل، کنفگ اور ڈیٹا سرور کے SSD ذخیرے پر رہتے ہیں جب تک آپ انہیں حذف نہ کریں.
LLaMA کے دوران تیز رسائی کے لیے سرور کے SSD پر کام کرنے والے ڈیٹا کو محفوظ رکھیں، اور ختم ہونے والے آرٹیفیکٹس (وزن، نسل، embeddings) کو VPS.org کے باہر کی اسٽوریج میں کاپی کریں؛ سناپ شاٹ اور بک اپ ایک ہی اسٽوریج کلسٹر پر رہتے ہیں۔
آپ کنٹرول پینل سے کوئی VPS.org سرور کو ایک بڑے پلان میں اپگریڈ کرسکتے ہیں؛ اس کو دوبارہ سائز کرنے سے اس کا دوبارہ شروع ہونا اور آپ کی LLaMA انسٹالیشن کا منتقل ہونا. GPU سرور اب تک دستیاب نہیں ہیں.
ہاں. بک اپ ایک ادائیگی اضافی ہے (دن دن +30% پلان قیمت، 7 دن محفوظ؛ ہفتہ وار +20%, 28 دن محفوظ) اور سناپ شاٹ مفت ہیں، جو طویل LLaMA چلنے سے پہلے مفید ہے. دونوں سرور کے طور پر ایک ہی محفوظ کلسٹر پر رہتے ہیں.
واپسی کی درخواست کرنے کے لیے آپ کی پہلی خریدار کے 30 دن کے اندر سہولت سے رابطہ کریں.GPU سرور ابھی فروخت نہیں کیے گئے ہیں، اس لیے کوئی GPU آرڈر شامل نہیں ہے.
GPU کی صلاحیت محدود ہے ہمیں اپنے ورک لوڈ کے بارے میں بتائیں اور ہم دستیابی اور قیمت کے ساتھ جواب دیں گے.