خدمة نماذج الذكاء الاصطناعي من NVIDIA Tesla P40 (24 جيجا بايت VRAM، بنية باسكال): LLMs، نماذج الصور وغيرها من التنبؤات. GPU الخوادم ليست قابلة للطلب بعد؛ اتصل بنا لإخطار عندما تكون.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# مثال على أمر التثبيت
إن الاستدلال الذكي يعني تشغيل نماذج مدربة لإنتاج التنبؤات. ويحافظ خادم الاستدلال الخاص بالمعالج الرسومى على نموذج محمول على المعالج الرسومى، ويجيب على الطلبات بسرعة أكبر كثيرا من المعالج المركزي.
يتم نقل وحدة المعالجة المركزية إلى خادمك وحده، لذلك لا يتأثر التأخير بوظائف وحدة المعالجة المركزية للعملاء الآخرين.
استخدم Ollama، llama.cpp، Triton أو API الخاص بك. بعض الأطر، مثل vLLM، تحتاج إلى معالجات رسومية أحدث من Pascal P40.
تشغيل عدة خوادم خلف موازن الحمل الخاص بك إذا كان وحدة المعالجة المركزية الرسومية واحدة ليست كافية.
خدمة نموذج واحد متوسط الحجم أو عدة أصغر.
يمكن لبرنامج AI Inference أن يستخدم وحدة معالجة رسومية NVIDIA لتسريع عمله. لا تتوفر خادمات وحدة معالجة رسومية VPS.org للطلب بعد؛ اتصل بنا للحصول على معلومات عندما تتوفر. برنامج AI Inference هو برنامج عام لحمل العمل المعجل بواسطة وحدة معالجة رسومية. تأكد من أن برنامجك يدعم CUDA وأن نسخة مشغلك/ وقت التشغيل تتطابق مع متطلبات عبء العمل لبرنامج AI Inference.
لا تتوفر خادمات المعالجات الرسومية للطلب بعد. اليوم يمكنك تشغيل AI Inference على خطة معالجة عادية، حيث يعمل ببطء أكبر بكثير من المعالجات الرسومية: SSH في وتشغيل pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
تعتمد احتياجات ذاكرة العرض البصرية لـ AI Inference على النموذج وحجم الدفعة؛ انظر وثائق المشروع للأرقام الحالية.
وستنشر أسعار وحدات المعالجة الرسومية عندما يمكن طلب خواديم وحدات المعالجة الرسومية. يرجى الاتصال بنا إذا كنت تريد أن تعرف متى يحدث ذلك.
نعم، كل خادم VPS.org يأتي مع الوصول الكامل إلى الجذر، لذا يمكنك تشغيل أدوات أخرى إلى جانب AI Inference داخل ذاكرة الخادم و التخزين.
كل خادم VPS.org يأتي مع كامل root SSH الوصول، لذلك يمكنك تثبيت السائقين، المكتبات و AI Inference كما تحتاج.
لا. لا يأتي أي خادم مع وقت تشغيل CUDA أو مشغل NVIDIA مسبقًا، وخوادم وحدة المعالجة الرسومية غير متاحة للطلب بعد. يمكنك تثبيت الإصدارات التي يحتاجها AI Inference بنفسك.
نعم. الخوادم VPS.org هي أجهزة افتراضية دائمة، ليست حالات سريعة الزوال: AI Inference النماذج، وتكوينات وبيانات تبقى على تخزين SSD الخادم حتى تحذفها.
حافظ على البيانات العاملة على SSD للخادم للوصول السريع خلال AI Inference الرياضات، ونسخ المصنوعات اليدوية المنتهية (الأوزان، الأجيال، التضمين) إلى التخزين خارج VPS.org؛ الصور الفوتوغرافية والصور الاحتياطية تبقى على نفس مجموعة التخزين.
يمكنك ترقية أي خادم VPS.org إلى خطة أكبر من لوحة التحكم؛ إعادة الحجم تعيد تشغيله وتثبيت AI Inference الخاص بك ينقل. خادم GPU غير متاحة بعد.
نعم، النسخ الاحتياطي هو إضافة مدفوعة (يوميا + 30٪ من سعر الخطة، الاحتفاظ 7 أيام؛ أسبوعيا + 20٪، الاحتفاظ 28 يوما) والصور المجانية، التي هي مفيدة قبل AI Inference طويلة التشغيل. كلاهما يظل على نفس مجموعة التخزين الخادم.
اتصل بالدعم خلال 30 يوما من شرائك الأول لطلب استرداد الأموال. لا تباع خادمات GPU بعد، لذلك لا يوجد طلب GPU مشارك.
قدرة وحدة المعالجة المركزية محدودة، أخبرنا عن حجم عملك وسنرد مع توفر وسعر.