Biz NVIDIA Tesla P40 (24 GB VRAM, Pascal arxitekturası) ilə GPU serverlərini Llama, Mistral və Gemma kimi açıq mənbə LLM-ləri Ollama ilə işlətmək üçün hazırlayırıq. GPU serverləri hələ sifariş edilə bilməz; təyin olunduqda xəbərdar olmaq üçün bizimlə əlaqə saxlayın.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Örnək quraşdırma əmri
Ollama öz maşınınızda böyük dil modellərini işlətmək üçün yüngül bir alətdir. GPU serverində model CPU yerinə GPU-da işləyir, bu da cavabları çox sürətli edir.
Llama, Mistral, Gemma, Phi, Qwen və bir çox digər modelləri bir əmrlə çək.
7B-dən 13B modellərinə rahatlıqla və 30B modellərinə yaxınlaşır. 70B modelləri ümumi kvantizasiya səviyyələrində bir 24 GB kartına uyğun gəlmir.
Sorğular və məlumatlar vericinizdə qalır, üçüncü tərəf API çağırışları yoxdur.
Ollama bir çox mövcud müştərilərin istifadə edə biləcəyi OpenAI-a uyğun bir son nöqtəni aşkar edir.
Ollama işini sürətləndirmək üçün NVIDIA GPU istifadə edə bilər. VPS.org GPU serverləri hələ sifariş üçün mövcud deyil; nə vaxtsa mövcud olacaqlarını öyrənmək üçün bizimlə əlaqə saxlayın. Ollama əsas olaraq LLM-inference / chat iş yüküdür. Siz diskdən yaddaşa sürətli random-access oxumaları və model və kontekst pəncərəsi üçün kifayət qədər VRAM istəyəcəksiniz.
GPU serverləri hələ sifariş edilə bilməz. Bu gün Ollama-u GPU-dan daha yavaş işləyən adi CPU planında işlədə bilərsiniz: SSH daxil olun və curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-u işlədin.
LLM inference VRAM model parametrləri ilə ölçülür: 7B modeli təxminən 5-8 GB VRAM və 13B modeli təxminən 10-14 GB, 70B-sinf modelləri bir neçə GPU və ya ağır kvantizasiya tələb edir.
GPU serverləri sifariş edilə biləcək zaman GPU qiyməti yayımlanacaq. Bu baş verəndə xəbər almaq istəyirsinizsə bizimlə əlaqə saxlayın.
Bəli. Hər bir VPS.org serveri tam root girişi ilə gəlir, buna görə də Ollama ilə yanaşı serverin RAM və saxlama sahəsində digər alətləri də işlədə bilərsiniz.
Hər VPS.org serveri tam kök SSH girişi ilə gəlir, buna görə də sürücüləri, kitabxanaları və Ollama'i istədiyiniz kimi quraşdıra bilərsiniz.
Xeyr. Heç bir server CUDA ya da NVIDIA sürücüsü ilə əvvəlcədən quraşdırılmış deyil və GPU serverləri hələ sifariş edilə bilməz. Siz Ollama'un ehtiyacı olan versiyaları özünüz quraşdırırsınız.
Bəli. VPS.org serverləri əbədi virtual maşınlardır, qısamüddətli nümunələr deyillər: Ollama modelləri, konfiqurasiyaları və məlumatları onları silənə qədər serverin SSD saxlama yerində qalır.
Ollama işləmələrində sürətli çıxış üçün iş məlumatlarını serverin SSD-də saxla və bitmiş artefaktları (yükü, nəsilləri, embeddings) VPS.org-dən kənarda saxlamağa köçür; snapshot və backuplar eyni saxlama dəstəsində qalır.
Hər hansı VPS.org vericisini idarə panelindən daha böyük plana yüksəldərək istifadə edə bilərsiniz; böyütmə onu yenidən başladır və Ollama quraşdırmanızı da daşıyır. GPU vericiləri hələ mövcud deyil.
Bəli. Əlavə zəmanət əlavə ödənişlidir (gündəlik +30% plan qiyməti, 7 gün saxlanılır; həftəlik +20%, 28 gün saxlanılır) və şəkillər pulsuzdur, bu uzun Ollama işləmələrindən əvvəl faydalıdır. Hər ikisi də verici ilə eyni saxlama dəstəsində qalır.
İlk alışınızdan 30 gün sonra dəstəklə əlaqə saxlayın və geri qaytarma istəyin. GPU serverləri hələ satılmamışdır, buna görə də GPU sifarişinə ehtiyac yoxdur.
GPU-nun gücü məhduddur. İş yükünüz haqqında bizə məlumat verin və biz mövcudluq və qiymətlə cavab verəcəyik.