NVIDIA Tesla P40 (24 GB VRAM, Pascal arxitekturası) üzərində Meta'nın Llama modellərini öz-özünə qovşaqla. Tam dəqiqlikdə 8B modellərinə uyğundur və kvantlaşdırıldığında daha böyük modellərə uyğundur. GPU serverləri hələ sifariş edilə bilməz; hələlik bu barədə xəbərdar olmaq üçün bizimlə əlaqə saxlayın.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Örnək quraşdırma əmri
Llama Meta'nın açıq şəkildə mövcud olan böyük dil modellərinin ailəsindəndir. Llama'yı öz GPU serverinizdə işlətmək sorğuları və məlumatları gizli saxlayır.
8B modelləri 24 GB VRAM-da işləyir. 70B modelləri ümumi kvantizasiya səviyyələrində tək bir 24 GB kartda yerləşdirilə bilməz.
Sənin sorğular və məlumatlar üçüncü tərəf API çağırışları olmadan vericidə qalır.
GGUF-u llama.cpp və ya Ollama ilə, ya da PyTorch ağırlığı ilə istifadə et.
Ollama və ya OpenAI-ə uyğun son nöqtəsi üçün llama.cpp serveri ilə modellərə xidmət edin.
LLaMA öz işini sürətləndirmək üçün NVIDIA GPU istifadə edə bilər. VPS.org GPU serverləri hələ sifariş üçün mövcud deyil; nə vaxtsa mövcud olacaqlarını öyrənmək üçün bizimlə əlaqə saxlayın. LLaMA ümumi GPU sürətləndirilmiş iş yüküdür. proqramınızın CUDA dəstəkli olduğunu və sürücü/işləmə versiyalarınızın LLaMA üçün iş yük tələblərinə uyğun olduğunu yoxlayın.
GPU serverləri hələ sifariş edilə bilməz. Bu gün LLaMA-u GPU-dan daha yavaş işləyən adi CPU planında işlədə bilərsiniz: SSH daxil olun və curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-u işlədin.
LLaMA üçün VRAM tələbləri modeli və paket böyüklüyünə bağlıdır; hazırkı rəqəmlər üçün layihə sənədlərini yoxlayın.
GPU serverləri sifariş edilə biləcək zaman GPU qiyməti yayımlanacaq. Bu baş verəndə xəbər almaq istəyirsinizsə bizimlə əlaqə saxlayın.
Bəli. Hər bir VPS.org serveri tam root girişi ilə gəlir, buna görə də LLaMA ilə yanaşı serverin RAM və saxlama sahəsində digər alətləri də işlədə bilərsiniz.
Hər VPS.org serveri tam kök SSH girişi ilə gəlir, buna görə də sürücüləri, kitabxanaları və LLaMA'i istədiyiniz kimi quraşdıra bilərsiniz.
Xeyr. Heç bir server CUDA ya da NVIDIA sürücüsü ilə əvvəlcədən quraşdırılmış deyil və GPU serverləri hələ sifariş edilə bilməz. Siz LLaMA'un ehtiyacı olan versiyaları özünüz quraşdırırsınız.
Bəli. VPS.org serverləri əbədi virtual maşınlardır, qısamüddətli nümunələr deyillər: LLaMA modelləri, konfiqurasiyaları və məlumatları onları silənə qədər serverin SSD saxlama yerində qalır.
LLaMA işləmələrində sürətli çıxış üçün iş məlumatlarını serverin SSD-də saxla və bitmiş artefaktları (yükü, nəsilləri, embeddings) VPS.org-dən kənarda saxlamağa köçür; snapshot və backuplar eyni saxlama dəstəsində qalır.
Hər hansı VPS.org vericisini idarə panelindən daha böyük plana yüksəldərək istifadə edə bilərsiniz; böyütmə onu yenidən başladır və LLaMA quraşdırmanızı da daşıyır. GPU vericiləri hələ mövcud deyil.
Bəli. Əlavə zəmanət əlavə ödənişlidir (gündəlik +30% plan qiyməti, 7 gün saxlanılır; həftəlik +20%, 28 gün saxlanılır) və şəkillər pulsuzdur, bu uzun LLaMA işləmələrindən əvvəl faydalıdır. Hər ikisi də verici ilə eyni saxlama dəstəsində qalır.
İlk alışınızdan 30 gün sonra dəstəklə əlaqə saxlayın və geri qaytarma istəyin. GPU serverləri hələ satılmamışdır, buna görə də GPU sifarişinə ehtiyac yoxdur.
GPU-nun gücü məhduddur. İş yükünüz haqqında bizə məlumat verin və biz mövcudluq və qiymətlə cavab verəcəyik.