NVIDIA Tesla P40 (24 GB VRAM ، Pascal architecture) سے AI ماڈل سروس کريں LLMs ، ايميج ماڈل اور ديگر پيش گوئياں GPU سرور ابھی تک سفارشي نہیں هے ، جب وہ هے تو ہمیں اطلاع کريں
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# مثالی انسٹال کمانڈ
AI انفريشن کا مطلب پيش گوئيوں کو بنا نے کے ليے تربيت شدہ ماڈل چلنا هے GPU انفريشن سرور GPU پر لوڈ کريے گئے ماڈل کو محفوظ رکھتا هے اور CPU سے زیادہ جلدي سوالات کا جواب ديتا هے
GPU صرف آپ کے سرور میں ہی منتقل ہوتا ہے، اس لئے لیٹنسی دوسرے کلائنٹ کے GPU کاموں سے متاثر نہیں ہوتی.
Ollama، llama.cpp، Triton يا آپکے API استعمال کريں بعض فرم ورکز ، مثلا vLLM ، Pascal P40 سے نئے GPUs کي ضرورت هے
اگر ایک GPU کافی نہيں هے تو آپکے لوڈ بالنڈر کے پیچھے متعدد سرور چلايں
ایک متوسط سائز ماڈل یا کئی چھوٹے سے خدمت.
AI Inference اسکے کام کو تیز کرنے کے ليے NVIDIA GPU استعمال کر سکتا هے VPS.org GPU سرور ابھی تک سفارش کے ليے دستياب نهيں هے ، جب وہ هے تو سنا نے کے ليے ہم سے رابطہ کريں AI Inference عام GPU تيز رفتار کار لوڈ هے يقين کريں کہ آپکے سوفٹ و ير CUDA کي مدد هے اور آپکے ڈرائيور / رن ٹائم ورژن AI Inference کے ليے کار لوڈ کي ضرورتوں سے ميچتے هيں
GPU سرور ابھی تک سفارش کے ليے دستياب نهيں هے آج آپ AI Inference کو ري گيول سي پي يو پلان پر چلا سکتے هيں جہاں اس کا کام GPU سے سست ہوتا هے: SSH داخل کريں اور pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct چلائيں
AI Inference کے لیے VRAM کی ضرورت ماڈل اور بٹک سائز پر منحصر ہے؛ جاری اعدادوشمار کے لیے پروجیکٹ دستاویزی کو چکیں.
GPU کی قیمتوں کو شائع کیا جائے گا جب GPU سروروں کو آرڈر کیا جاسکتا ہے. اگر آپ کو اس بات کو سننا چاہے تو ہم سے رابطہ کریں.
ہاں ہر VPS.org سرور مکمل روٹ رسائی کے ساتھ آتا ہے، تو آپ سرور کے RAM اور محفوظہ کے اندر AI Inference کے ساتھ دوسرے ٹولز چلا سکتے ہیں.
ہر VPS.org سرور مکمل روٹ SSH رسائی کے ساتھ آتا ہے، تو آپ ڈرائیورز، لائبریری اور AI Inference کو انسٹال کر سکتے ہیں جیسے آپ کو ضرورت ہے۔
نہیں کوئی سرور CUDA رن ٹائم یا NVIDIA ڈرائیور سے پہلے سے انسٹال کیے ہوئے نہیں آتا اور GPU سرور ابھی تک سفارش کے لیے دستیاب نہیں ہیں آپ خود انسٹال کریں AI Inference نسخے کی ضرورت ہے.
ہاں. VPS.org سرور ثابت ورچوئل مشینیں ہیں، نہ کہ عارضی مثالیں: AI Inference ماڈل، کنفگ اور ڈیٹا سرور کے SSD ذخیرے پر رہتے ہیں جب تک آپ انہیں حذف نہ کریں.
AI Inference کے دوران تیز رسائی کے لیے سرور کے SSD پر کام کرنے والے ڈیٹا کو محفوظ رکھیں، اور ختم ہونے والے آرٹیفیکٹس (وزن، نسل، embeddings) کو VPS.org کے باہر کی اسٽوریج میں کاپی کریں؛ سناپ شاٹ اور بک اپ ایک ہی اسٽوریج کلسٹر پر رہتے ہیں۔
آپ کنٹرول پینل سے کوئی VPS.org سرور کو ایک بڑے پلان میں اپگریڈ کرسکتے ہیں؛ اس کو دوبارہ سائز کرنے سے اس کا دوبارہ شروع ہونا اور آپ کی AI Inference انسٹالیشن کا منتقل ہونا. GPU سرور اب تک دستیاب نہیں ہیں.
ہاں. بک اپ ایک ادائیگی اضافی ہے (دن دن +30% پلان قیمت، 7 دن محفوظ؛ ہفتہ وار +20%, 28 دن محفوظ) اور سناپ شاٹ مفت ہیں، جو طویل AI Inference چلنے سے پہلے مفید ہے. دونوں سرور کے طور پر ایک ہی محفوظ کلسٹر پر رہتے ہیں.
واپسی کی درخواست کرنے کے لیے آپ کی پہلی خریدار کے 30 دن کے اندر سہولت سے رابطہ کریں.GPU سرور ابھی فروخت نہیں کیے گئے ہیں، اس لیے کوئی GPU آرڈر شامل نہیں ہے.
GPU کی صلاحیت محدود ہے ہمیں اپنے ورک لوڈ کے بارے میں بتائیں اور ہم دستیابی اور قیمت کے ساتھ جواب دیں گے.