Server AI- modeller fra en NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur): LLM, bildemodeller og andre prognoser. GPU- tjenere kan ikke bestilles ennå. Kontakt oss for å bli varslet når de er det.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Eksempel på installasjonskommando
AI- inferans betyr å kjøre opplærte modeller for å lage prognoser. En GPU- konferansetjener holder en modell lastet inn på GPU og svarer på anmodninger mye raskere enn en CPU.
GPU blir sendt gjennom til din tjener alene, så latency blir ikke påvirket av andre kunders GPU jobber.
Bruk Ollama, lama. cpp, Triton eller ditt eget API. Noen rammer, slik som vLLM, trenger nyere GPU- er enn Pascal P40.
Kjør flere tjenere bak din egen lastbalanserer hvis en GPU ikke er nok.
Avnevne en mellommodell eller flere mindre modell.
AI Inference kan bruke en NVIDIA GPU til å gjøre arbeidet raskere. VPS.org GPU- tjenere er ikke tilgjengelig for bestilling ennå. Kontakt oss for å høre når de er det. AI Inference er en generell GPU- akselerert arbeidsbyrde. Se etter at programmet har CUDA- støtte og at driveren/ kjøretiden din oppfyller kravene til arbeidsbelastning for AI Inference.
GPU- tjenere kan ikke bestilles ennå. I dag kan du kjøre AI Inference på en vanlig CPU- plan, der det virker mye langsommere enn på en GPU: SSH i og kjøre pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM- behov for AI Inference avhenger av modell og satsstørrelse. Sjekk prosjektdokumentasjonen for gjeldende tall.
GPU- prising vil bli publisert når GPU- tjenere kan bestilles. Kontakt oss hvis du vil høre når det skjer.
Ja. Hver VPS.org- tjener har full rottilgang, så du kan kjøre andre verktøy ved siden av AI Inference i tjenerens RAM og lager.
Hver VPS.org tjener kommer med full SSH tilgang, så du kan installere drivere, biblioteker og AI Inference som du trenger.
Nei. Ingen tjener leveres med en forhåndsinstallert CUDA kjøretid eller NVIDIA driver, og GPU- tjenere er ikke tilgjengelige for bestilling ennå. Du installerer versjonene AI Inference trenger deg selv.
Ja. VPS.org- tjenere er vedvarende virtuelle maskiner, ikke efemerale instanser: AI Inference- modeller, oppsett og data blir værende på tjenerens SSD- lager til du sletter dem.
Holde arbeidet med tjenerens SSD for rask tilgang under kjøring av AI Inference, og kopier ferdige artefakter (vekter, generasjoner, innbygging) til lagring utenfor VPS.org. Ta bilder av dem og ta sikkerhetskopier blir på samme lagringsklupé.
Du kan oppgradere enhver VPS.org tjener til en større plan fra kontrollpanelet. Om størrelsen endres på nytt og installasjonen av AI Inference går over. GPU- tjenere er ikke tilgjengelig ennå.
Ja. Sikkerhetskopier er et betalt tillegg (daglig +30% av planprisen, holdt 7 dager, ukentlig +20%, holdt 28 dager) og skjermbilder er gratis, noe som er nyttig før lenge AI Inference kjører. Begge blir på samme lagringsklemmer som tjeneren.
Kontaktstøtte innen 30 dager etter at du kjøpte deg for å be om tilbakebetaling. GPU- tjenere er ikke solgt ennå, så det er ikke tatt med noen GPU- ordre.
GPU- kapasiteten er begrenset. Fortell oss om arbeidsbyrden din og vi svarer med tilgjengelighet og prissetting.