AI-modellen fan in NVIDIA Tesla P40 (24 GB VRAM, Pascal-arsjitektuer) tsjinje: LLM's, ôfbyldingsmodellen en oare foarsizzingen. GPU-tsjinners binne noch net te bestellen; nim kontakt mei ús op om te hearren wannear't se beskikber binne.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Foarbyld ynstallaasjekommando
AI- ynferzje betsjut it útfieren fan traine modellen om foarsizzingen te meitsjen. In GPU- ynferzjetsjinner hâldt in model op de GPU laden en beantwurdet fersiken folle flugger as in CPU.
De GPU wurdt allinnich trochjûn oan jo tsjinner, dus de fertraging wurdt net beynfloede troch GPU-taken fan oare klanten.
Brûk Ollama, llama. cpp, Triton of jo eigen API. Guon frameworks, lykas vLLM, hawwe nijere GPU's nedich as de Pascal P40.
Fier meardere tsjinners út efter jo eigen load balancer as ien GPU net genôch is.
De stêd hat in soad middelbere skoallen en in soad lytse skoallen.
AI Inference kin in NVIDIA GPU brûke om syn wurk te fersnellen. GPU- tsjinners fan VPS.org binne noch net beskikber om te bestellen; nim kontakt mei ús op om te hearren wannear' t se der binne. AI Inference is in algemiene GPU- fersnelling wurkbedrach. Soargje derfoar dat jo software CUDA- stipe hat en dat jo stjoerprogramma / runtime ferzjes oerienkomme mei de wurkbedrach easken foar AI Inference.
GPU- tsjinners binne noch net beskikber foar bestelling. Fan no ôf kinne jo AI Inference útfiere op in gewoan CPU- plan, wêr' t it folle langzamer wurket as op in GPU: SSH yn en pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct útfiere.
De VRAM-behoeften foar AI Inference binne ôfhinklik fan it model en de batchgrutte; kontrolearje de projektdokumintaasje foar de aktuele sifers.
De GPU-priis sil publisearre wurde as GPU-tsjinners besteld wurde kinne. Nim kontakt mei ús op as jo witte wolle wannear't dat bart.
Ja. Elke VPS.org-tsjinner hat folsleine root-tagong, sadat jo oare ark tegearre mei AI Inference útfiere kinne yn it RAM en de opslach fan de tsjinner.
Elke VPS.org-tsjinner hat folsleine root-SSH-tagong, sadat jo stjoerprogramma's, bibleteken en AI Inference ynstallearje kinne sa't jo wolle.
Nee. Gjin tsjinner komt mei in foarynstallearre CUDA runtime of NVIDIA stjoerprogramma, en GPU tsjinners binne noch net beskikber foar bestelling. Jo kinne de ferzjes dy' t AI Inference nedich hat sels ynstallearje.
Ja. VPS.org-tsjinners binne permaninte firtuele masines, net efkes besteande foarbylden: AI Inference-modellen, konfiguraasje en gegevens bliuwe op de SSD-opslach fan de tsjinner oant jo se fuortsmite.
Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Jo kinne eltse VPS.org- tsjinner opgradeare nei in grutter plan fanút it kontrôlepaniel; de grutte feroaring begjint it opnij en jo AI Inference- ynstallaasje wurdt oernommen. GPU- tsjinners binne noch net beskikber.
Ja. Back- ups binne in fergese tafoeging (daliks +30% fan de planpriis, 7 dagen bewarre; wykliks +20%, 28 dagen bewarre) en snapshots binne fergees, wat handich is foar lange AI Inference- útfier. Beide bliuwe op itselde opslach cluster as de tsjinner.
Nim kontakt op mei de stipe binnen 30 dagen nei jo earste oankeap om in werombetelling te freegjen. GPU-tsjinners binne noch net ferkocht, dus is der gjin GPU-bestelling.
GPU- kapasiteit is beheind. Fertel ús oer jo wurkbelasting en wy sille jo in antwurd jaan mei beskikberens en priis.