استضافة نماذج لاما الخاصة بـ ميتا على NVIDIA Tesla P40 (24 GB VRAM، بنية باسكال). مناسبة لنماذج 8B بدقة كاملة ونماذج أكبر عند الكم. خادم وحدة المعالجة الرسومية غير قابل للطلب بعد؛ اتصل بنا لإخطارك عندما تكون كذلك.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# مثال على أمر التثبيت
لاما هي عائلة ميتا من نماذج اللغة الكبيرة المتاحة بشكل مفتوح. تشغيل لاما على خادم وحدة المعالجة الرسومية الخاص بك يحافظ على الطلبات والبيانات الخاصة.
يعمل 8B نماذج على 24 جيجا بايت من VRAM. 70B نماذج لا تتناسب مع بطاقة واحدة 24 جيجا بايت في مستويات الكم المشتركة.
تبقى نداءاتك وبياناتك على خادمك، بدون أي نداءات API من طرف ثالث.
استخدم GGUF مع llama.cpp أو Ollama، أو وزنات PyTorch الأصلية.
خدمة النماذج مع Ollama أو الخادم llama.cpp لنقطة نهاية متوافقة مع OpenAI.
يمكن لبرنامج LLaMA أن يستخدم وحدة معالجة رسومية NVIDIA لتسريع عمله. لا تتوفر خادمات وحدة معالجة رسومية VPS.org للطلب بعد؛ اتصل بنا للحصول على معلومات عندما تتوفر. برنامج LLaMA هو برنامج عام لحمل العمل المعجل بواسطة وحدة معالجة رسومية. تأكد من أن برنامجك يدعم CUDA وأن نسخة مشغلك/ وقت التشغيل تتطابق مع متطلبات عبء العمل لبرنامج LLaMA.
لا تتوفر خادمات المعالجات الرسومية للطلب بعد. اليوم يمكنك تشغيل LLaMA على خطة معالجة عادية، حيث يعمل ببطء أكبر بكثير من المعالجات الرسومية: SSH في وتشغيل curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
تعتمد احتياجات ذاكرة العرض البصرية لـ LLaMA على النموذج وحجم الدفعة؛ انظر وثائق المشروع للأرقام الحالية.
وستنشر أسعار وحدات المعالجة الرسومية عندما يمكن طلب خواديم وحدات المعالجة الرسومية. يرجى الاتصال بنا إذا كنت تريد أن تعرف متى يحدث ذلك.
نعم، كل خادم VPS.org يأتي مع الوصول الكامل إلى الجذر، لذا يمكنك تشغيل أدوات أخرى إلى جانب LLaMA داخل ذاكرة الخادم و التخزين.
كل خادم VPS.org يأتي مع كامل root SSH الوصول، لذلك يمكنك تثبيت السائقين، المكتبات و LLaMA كما تحتاج.
لا. لا يأتي أي خادم مع وقت تشغيل CUDA أو مشغل NVIDIA مسبقًا، وخوادم وحدة المعالجة الرسومية غير متاحة للطلب بعد. يمكنك تثبيت الإصدارات التي يحتاجها LLaMA بنفسك.
نعم. الخوادم VPS.org هي أجهزة افتراضية دائمة، ليست حالات سريعة الزوال: LLaMA النماذج، وتكوينات وبيانات تبقى على تخزين SSD الخادم حتى تحذفها.
حافظ على البيانات العاملة على SSD للخادم للوصول السريع خلال LLaMA الرياضات، ونسخ المصنوعات اليدوية المنتهية (الأوزان، الأجيال، التضمين) إلى التخزين خارج VPS.org؛ الصور الفوتوغرافية والصور الاحتياطية تبقى على نفس مجموعة التخزين.
يمكنك ترقية أي خادم VPS.org إلى خطة أكبر من لوحة التحكم؛ إعادة الحجم تعيد تشغيله وتثبيت LLaMA الخاص بك ينقل. خادم GPU غير متاحة بعد.
نعم، النسخ الاحتياطي هو إضافة مدفوعة (يوميا + 30٪ من سعر الخطة، الاحتفاظ 7 أيام؛ أسبوعيا + 20٪، الاحتفاظ 28 يوما) والصور المجانية، التي هي مفيدة قبل LLaMA طويلة التشغيل. كلاهما يظل على نفس مجموعة التخزين الخادم.
اتصل بالدعم خلال 30 يوما من شرائك الأول لطلب استرداد الأموال. لا تباع خادمات GPU بعد، لذلك لا يوجد طلب GPU مشارك.
قدرة وحدة المعالجة المركزية محدودة، أخبرنا عن حجم عملك وسنرد مع توفر وسعر.