Postrežite AI modele iz NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura): LLMs, slikovne modele in druge napovedi. GPU strežniki še niso urejeni; kontaktirajte nas, da se obvestite, ko so.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Primer namestitve ukaza
AI ugotovitev pomeni teči izurjene modele za pripravo napovedi. GPU zaključek strežnik ohranja model naložen na GPU in odgovori zahtevajo veliko hitreje kot CPU.
GPU je prenesen skozi na vaš strežnik samo, tako da latency ni vplival na druge stranke GPU delovna mesta.
Uporabite Ollama, lama.cpp, Triton ali svoj API. Nekateri okvirji, kot je vLLM, potrebujejo novejši GPU kot Pascal P40.
Če en GPU ni dovolj, poženite več strežnikov za svojim lastnim ravnotežnikom.
Postrezite en srednje velikost modela ali več manjših.
AI Inference lahko uporabite NVIDIA GPU za pospeševanje svojega dela. VPS.org GPU strežniki še niso na voljo za naročilo; kontaktirajte nas, da slišimo, kdaj so. AI Inference je splošno GPU-prispelo delo. Prepričajte se, da ima vaša programska oprema podporo GUDA in da vaša voznik / različica runtime ustrezajo zahtevam za delovno obremenitev za AI Inference.
Strežniki GPU še niso na voljo za naročilo. Danes lahko poženite AI Inference na običajnem načrtu CPU, kjer deluje veliko počasneje kot pri GPU: SSH in poženite pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM potrebe za AI Inference so odvisne od modela in velikosti serije; preverite projektno dokumentacijo za trenutne številke.
GPU cenovno obdobje bo objavljeno, ko bo GPU strežniki lahko naročili. Pokličite nas, če želite slišati, kdaj se to zgodi.
Da. Vsak strežnik VPS.org je s polnim dostopom do korenine, tako da lahko poganjate druga orodja poleg AI Inference v okviru RAM in shranjevanja strežnika.
Vsak VPS.org strežnik prihaja s polnim root SSH dostopom, tako da lahko namestite voznike, knjižnice in AI Inference, kolikor potrebujete.
Ne. Strežnik ne prihaja z CUDA runtime ali NVIDIA gonilnik vnaprej nameščen, in GPU strežniki še niso na voljo za naročilo. Namestite različice AI Inference potrebujete sami.
Da. strežniki VPS.org so vztrajni virtualni stroji, ne efemeralni primeri: AI Inference modeli, nastavitve in podatki ostanejo v strežniku SSD shranjevanje, dokler jih ne izbrišete.
Nadaljujte z delom podatkov o strežniku SSD za hiter dostop med tekom AI Inference in kopirajte končne artefakte (teži, generacije, vgradnje) v shranjevanje zunaj VPS.org; posnetki in kopije ostanejo na istem skladišče grozde.
Nadogradite lahko kateri koli strežnik VPS.org na večji načrt iz kontrolnega panela; znova ga zaženite z velikostjo in prenesete vaš instalator AI Inference. Strežniki GPU še niso na voljo.
Ja. Rezervne kopije so plačano dodatno (dnevno +30% cene načrta, ki je obdržana 7 dni; teden +20%, obdržana 28 dni) in posnetki so brezplačni, kar je koristno pred dolgim AI Inference. Oba ostaneta na istem skladišče klaster kot strežnik.
Kontaktna podpora v 30 dneh od prvega nakupa, da zahtevate povračila. GPU strežniki še niso prodani, zato ni vključena nobena naročila GPU.
GPU zmogljivost je omejena. Povejte nam o svoji delovni obremenitvi in odgovorili bomo z razpoložljivostjo in cenami.