Dien Kunsmatige modelle van'n NVIDIA Tesla P40 (24 GB VRAM, Pascal argitektuur): LMMM's, beeldmodelle en ander voorspellings. GPU-bedieners is nog nie orden nie; kontak ons om in kennis gestel te word wanneer dit wel is.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Voorbeeld installeer opdrag
Kunsmatige vermoëns beteken dat 'n mens opgeleide modelle loop om voorspellings te vervaardig. 'n GPU inference bediener hou 'n model gelaai op die GPU en antwoorde versoeke baie vinniger as 'n Sve.
Die GPU word alleen na jou bediener toe gestuur, en gevolglik word laatncy nie deur ander klante se GPU-werk geraak nie.
Gebruik Ollama, llama.cpp, Triton of jou eie API.'n Paar raamwerk, soos illM, het nuwer GPUs nodig as die Pascal P40.
Hardloop verskeie bedieners agter jou eie las balansmaker as een GPU nie genoeg is nie.
Dien een middel gemaakde model of verskeie kleiners.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
GPU servers are not available to order yet. Today you can run AI Inference on a regular CPU plan, where it works far more slowly than on a GPU: SSH in and run pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM het AI Inference nodig, afhanklik van die model en vraggrootte; kyk na die projek se dokumentasie vir huidige figure.
PUpigting sal gepubliseer word wanneer GPU bedieners bestel kan word. Kontak ons as jy wil hoor wanneer dit gebeur.
Ja. Elke VPS.org bediener kom met volledige root toegang, sodat jy kan hardloop ander gereedskap langs AI Inference binne in die bediener se Ram en berging.
Every VPS.org server comes with full root SSH access, so you can install drivers, libraries and AI Inference however you need.
Nee. Geen bediener kom met 'n CUDA looptyd of NVIDIA drywer vooraf geinstalleer, en GPU bedieners is nie beskikbaar na orde nog. Jy installeer die weergawes AI Inference benodig jouself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: AI Inference models, configs and data stay on the server's SSD storage until you delete them.
Hou werk data op die bediener se SSD vir vinnige toegang gedurende AI Inference loop, en kopieer voltooide artefakte (gewigte, geslagte, embedings) na stoor buite VPS.org; foto's en terugpakkies bly op dieselfde stoorswerm.
Jy kan enige VPS.org-bediener na 'n groter plan van die beheerpaneel opgradeer; die hervergrooting herbegin dit en jou AI Inference installeer vervoer oor. GPU bedieners is nog nie beskikbaar nie.
Ja. Rugsteunte is 'n betaalde byvoegsel (huidy +30% van die planprys, gehou 7 dae; weekliks +20%, gehou 28 dae) en foto's is gratis, wat is bruikbare voor lank AI Inference hardloop. Beide bly op dieselfde stoorswerm as die bediener.
Kontaksteun binne 30 dae van jou eerste koop om 'n heroorkop te versoek. GPU bedieners word nog nie verkoop nie, dus is geen GPU-orde daarby betrokke nie.
GPU se vermoë is beperk. Vertel ons van jou werklas en ons sal met beskikbaarheid en prysing antwoord.