Serviți modele AI de la un NVIDIA Tesla P40 (24 GB VRAM, arhitectura Pascal): LLM, modele de imagine și alte predicții. Serverele GPU nu sunt încă comandabile; contactați-ne pentru a fi notificați atunci când sunt.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Exemplu de comandă de instalare
Inferencea IA înseamnă rulare modele instruite pentru a produce predicții. Un server de inference GPU menține un model încărcat pe GPU și răspunde cereri mult mai repede decât un CPU.
GPU este trecut prin serverul tău singur, astfel încât latența nu este afectată de locurile de muncă GPU ale altor clienți.
Folosește Ollama, lama.cpp, Triton sau propria API. Unele cadre, cum ar fi vLLM, au nevoie de GPU mai noi decât Pascal P40.
Execută mai multe servere în spatele propriu echilibr de încărcare dacă o singură GPU nu este suficientă.
Serviţi un model mijlociu sau mai multe mai mici.
AI Inference poate folosi un NVIDIA GPU pentru a accelera munca sa. VPS.org serverele GPU nu sunt disponibile pentru a comanda încă; contactați-ne pentru a auzi atunci când sunt. AI Inference este o încărcătură generală de muncă accelerată GPU. Asigurați-vă că software-ul dvs. are suport CUDA și că versiunile de driver / runtime corespunde cerințele de încărcare de muncă pentru AI Inference.
Serverele GPU nu sunt disponibile pentru a comanda încă. Astăzi puteți rula AI Inference pe un plan regulat de CPU, unde funcționează mult mai încet decât pe o GPU: SSH în și rula pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM necesități pentru AI Inference depinde de dimensiunile modelului și lotului; verificați documentația proiectului pentru cifrele actuale.
Preţurile GPU vor fi publicate atunci când serverele GPU pot fi comandate. Contactaţi-ne dacă doriţi să auziţi când se întâmplă asta.
Da. Fiecare server VPS.org vine cu acces complet la rădăcină, astfel încât să puteți rula alte instrumente alături de AI Inference în RAM și stocarea serverului.
Fiecare server VPS.org vine cu acces SSH root complet, astfel încât să puteți instala drivere, biblioteci și AI Inference, oricum ai nevoie.
Nu. Nici un server nu vine cu un CUDA runtime sau driver NVIDIA preinstalat, iar serverele GPU nu sunt disponibile pentru a comanda încă. Instala versiunile AI Inference are nevoie de tine.
Da. serverele VPS.org sunt mașini virtuale persistente, nu instanțele efemere: modele AI Inference, configurații și datele rămân pe stocarea SSD serverului până când le ștergeți.
Păstrați datele de lucru pe SSD serverului pentru acces rapid în timpul rulărilor AI Inference, și copiați artefacte finite (pondere, generații, încorporări) pentru a stoca în afara VPS.org; instantanii și rezerve de rezervă rămân pe același cluster de stocare.
Puteți actualiza orice server VPS.org la un plan mai mare din panou de control; reîncărcarea de redimensionare a acestuia și instalarea AI Inference are peste. Serverele GPU nu sunt disponibile încă.
Da. Backup-urile sunt un adăugare plătit (în fiecare zi +30% din preţul planului, păstrat 7 zile; săptămânal +20%, păstrat 28 zile) şi instantaniile sunt gratuite, care este util înainte de rulează AI Inference lung. Amândoi rămâne pe acelaşi cluster de stocare ca serverul.
Suport de contact în termen de 30 de zile de la prima achiziție pentru a solicita o rambursare. Serverii GPU nu sunt vândute încă, astfel încât nu este implicat comanda GPU.
Capacitatea GPU este limitată. Spune-ne despre încărcătura ta și vom răspunde cu disponibilitate și prețuri.