NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture)-dan AI modellərinə xidmət et: LLMs, şəkil modelləri və digər proqnozlaşdırmalar. GPU serverləri hələ sifariş edilə bilməz; hələlik bu barədə xəbərdar olmaq üçün bizimlə əlaqə saxlayın.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Örnək quraşdırma əmri
AI inference, təlim edilmiş modelləri işə salmaqla proqnozları hazırlamaq deməkdir. GPU inference serveri GPU-da yüklənmiş modeli saxlayır və CPU-dan daha sürətli cavab verir.
GPU yalnız sizin vericiyə keçid edir, buna görə də gecikmə digər müştərilərin GPU işlərindən təsirlənməz.
Ollama, llama.cpp, Triton və ya öz API-nizi istifadə edin. vLLM kimi bəzi framework-lər Pascal P40-dan daha yeni GPU-lara ehtiyac duyur.
Bir GPU kifayət etmədiyi halda öz yük balansılaşdırıcınızın arxasında bir neçə server işlədin.
Bir orta ölçülü model və ya bir neçə kiçik xidmət edin.
AI Inference öz işini sürətləndirmək üçün NVIDIA GPU istifadə edə bilər. VPS.org GPU serverləri hələ sifariş üçün mövcud deyil; nə vaxtsa mövcud olacaqlarını öyrənmək üçün bizimlə əlaqə saxlayın. AI Inference ümumi GPU sürətləndirilmiş iş yüküdür. proqramınızın CUDA dəstəkli olduğunu və sürücü/işləmə versiyalarınızın AI Inference üçün iş yük tələblərinə uyğun olduğunu yoxlayın.
GPU serverləri hələ sifariş edilə bilməz. Bu gün AI Inference-u GPU-dan daha yavaş işləyən adi CPU planında işlədə bilərsiniz: SSH daxil olun və pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct-u işlədin.
AI Inference üçün VRAM tələbləri modeli və paket böyüklüyünə bağlıdır; hazırkı rəqəmlər üçün layihə sənədlərini yoxlayın.
GPU serverləri sifariş edilə biləcək zaman GPU qiyməti yayımlanacaq. Bu baş verəndə xəbər almaq istəyirsinizsə bizimlə əlaqə saxlayın.
Bəli. Hər bir VPS.org serveri tam root girişi ilə gəlir, buna görə də AI Inference ilə yanaşı serverin RAM və saxlama sahəsində digər alətləri də işlədə bilərsiniz.
Hər VPS.org serveri tam kök SSH girişi ilə gəlir, buna görə də sürücüləri, kitabxanaları və AI Inference'i istədiyiniz kimi quraşdıra bilərsiniz.
Xeyr. Heç bir server CUDA ya da NVIDIA sürücüsü ilə əvvəlcədən quraşdırılmış deyil və GPU serverləri hələ sifariş edilə bilməz. Siz AI Inference'un ehtiyacı olan versiyaları özünüz quraşdırırsınız.
Bəli. VPS.org serverləri əbədi virtual maşınlardır, qısamüddətli nümunələr deyillər: AI Inference modelləri, konfiqurasiyaları və məlumatları onları silənə qədər serverin SSD saxlama yerində qalır.
AI Inference işləmələrində sürətli çıxış üçün iş məlumatlarını serverin SSD-də saxla və bitmiş artefaktları (yükü, nəsilləri, embeddings) VPS.org-dən kənarda saxlamağa köçür; snapshot və backuplar eyni saxlama dəstəsində qalır.
Hər hansı VPS.org vericisini idarə panelindən daha böyük plana yüksəldərək istifadə edə bilərsiniz; böyütmə onu yenidən başladır və AI Inference quraşdırmanızı da daşıyır. GPU vericiləri hələ mövcud deyil.
Bəli. Əlavə zəmanət əlavə ödənişlidir (gündəlik +30% plan qiyməti, 7 gün saxlanılır; həftəlik +20%, 28 gün saxlanılır) və şəkillər pulsuzdur, bu uzun AI Inference işləmələrindən əvvəl faydalıdır. Hər ikisi də verici ilə eyni saxlama dəstəsində qalır.
İlk alışınızdan 30 gün sonra dəstəklə əlaqə saxlayın və geri qaytarma istəyin. GPU serverləri hələ satılmamışdır, buna görə də GPU sifarişinə ehtiyac yoxdur.
GPU-nun gücü məhduddur. İş yükünüz haqqında bizə məlumat verin və biz mövcudluq və qiymətlə cavab verəcəyik.