ونحن نعد خادمات لمعالجات الرسوميات مع NVIDIA Tesla P40 (24 جيجا بايت من ذاكرة الوصول العشوائي، بنية باسكال) لتشغيل برامج LLM مفتوحة المصدر مثل Llama و Mistral و Gemma مع Ollama.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# مثال على أمر التثبيت
أولاما هي أداة خفيفة لتشغيل نماذج اللغة الكبيرة على جهازك الخاص. على خادم GPU، يعمل النموذج على GPU بدلاً من CPU، مما يجعل الاستجابات أسرع بكثير.
سحب لاما، ميسترال، جيما، في، كوين والعديد من النماذج الأخرى مع أمر واحد.
يلائم النماذج من 7B إلى 13B بكل راحة وحوالي 30B النماذج عندما كمية. 70B النماذج لا تتناسب مع بطاقة واحدة 24 جيجابايت في مستويات الكمية المشتركة.
تبقى الطلبات والبيانات على خادمك، بدون استدعاءات API من طرف ثالث.
يعرض Ollama نقطة نهاية متوافقة مع OpenAI يمكن أن يستخدمها العديد من العملاء الحاليين.
يمكن لـ Ollama أن يستخدم وحدة معالجة رسومية NVIDIA لتسريع عمله. لا تتوفر خادمات وحدة معالجة رسومية VPS.org للطلب بعد؛ اتصل بنا للاستماع إلى متى تكون متاحة. Ollama هو في المقام الأول عبء عمل لـ LLM-inference / chat. سوف تريد قراءة سريعة للوصول العشوائي من القرص إلى الذاكرة وذاكرة VRAM كافية للنموذج بالإضافة إلى نافذة السياق.
لا تتوفر خادمات المعالجات الرسومية للطلب بعد. اليوم يمكنك تشغيل Ollama على خطة معالجة عادية، حيث يعمل ببطء أكبر بكثير من المعالجات الرسومية: SSH في وتشغيل curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM الاستدلال VRAM مقاييس مع بارامترات النموذج: 7B نموذج يحتاج إلى حوالي 5 إلى 8 جيجا بايت من VRAM ونموذج 13B حوالي 10 إلى 14 جيجا بايت، بينما 70B-class النماذج تحتاج إلى عدة GPUs أو الكم الثقيل.
وستنشر أسعار وحدات المعالجة الرسومية عندما يمكن طلب خواديم وحدات المعالجة الرسومية. يرجى الاتصال بنا إذا كنت تريد أن تعرف متى يحدث ذلك.
نعم، كل خادم VPS.org يأتي مع الوصول الكامل إلى الجذر، لذا يمكنك تشغيل أدوات أخرى إلى جانب Ollama داخل ذاكرة الخادم و التخزين.
كل خادم VPS.org يأتي مع كامل root SSH الوصول، لذلك يمكنك تثبيت السائقين، المكتبات و Ollama كما تحتاج.
لا. لا يأتي أي خادم مع وقت تشغيل CUDA أو مشغل NVIDIA مسبقًا، وخوادم وحدة المعالجة الرسومية غير متاحة للطلب بعد. يمكنك تثبيت الإصدارات التي يحتاجها Ollama بنفسك.
نعم. الخوادم VPS.org هي أجهزة افتراضية دائمة، ليست حالات سريعة الزوال: Ollama النماذج، وتكوينات وبيانات تبقى على تخزين SSD الخادم حتى تحذفها.
حافظ على البيانات العاملة على SSD للخادم للوصول السريع خلال Ollama الرياضات، ونسخ المصنوعات اليدوية المنتهية (الأوزان، الأجيال، التضمين) إلى التخزين خارج VPS.org؛ الصور الفوتوغرافية والصور الاحتياطية تبقى على نفس مجموعة التخزين.
يمكنك ترقية أي خادم VPS.org إلى خطة أكبر من لوحة التحكم؛ إعادة الحجم تعيد تشغيله وتثبيت Ollama الخاص بك ينقل. خادم GPU غير متاحة بعد.
نعم، النسخ الاحتياطي هو إضافة مدفوعة (يوميا + 30٪ من سعر الخطة، الاحتفاظ 7 أيام؛ أسبوعيا + 20٪، الاحتفاظ 28 يوما) والصور المجانية، التي هي مفيدة قبل Ollama طويلة التشغيل. كلاهما يظل على نفس مجموعة التخزين الخادم.
اتصل بالدعم خلال 30 يوما من شرائك الأول لطلب استرداد الأموال. لا تباع خادمات GPU بعد، لذلك لا يوجد طلب GPU مشارك.
قدرة وحدة المعالجة المركزية محدودة، أخبرنا عن حجم عملك وسنرد مع توفر وسعر.