Þjóna AI módel frá NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektúr): LLMs, mynd módel og aðrar spár.GPU netþjónar eru ekki pantað enn; Hafðu samband við okkur til að tilkynna þegar þeir eru.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Dæmi um uppsetningarskipun
AI ályktun felur í sér að keyra þjálfaðar líkan til að framleiða spár.GPU ályktunarþjónn heldur líkan hlaðið á GPU og svarar beiðnum miklu hraðar en CPU.
GPU er sent í gegnum miðlara einn, þannig að leynd hefur ekki áhrif á GPU störf annarra viðskiptavina.
Nota Ollama, llama.cpp, Triton eða eigin API. Sum ramma, svo sem vLLM, þurfa nýrri GPU en Pascal P40.
Keyra nokkra netþjóna á bak við eigin álagsjafnvægi ef einn GPU er ekki nóg.
Berið fram eitt meðalstórt líkan eða nokkrar minni.
AI Inference getur notað NVIDIA GPU til að flýta fyrir vinnu sinni. VPS.org GPU netþjónar eru ekki í boði til pöntunar enn; hafðu samband við okkur til að heyra hvenær þeir eru. AI Inference er almennt GPU-hraðvirkt vinnuálag. Gakktu úr skugga um að hugbúnaðurinn þinn hafi CUDA stuðning og að rekill / keyrslutímaútgáfur þínar samsvari vinnuálagskröfum fyrir AI Inference.
GPU netþjónar eru ekki í boði til að panta ennþá.Í dag er hægt að keyra AI Inference á venjulegum CPU áætlun, þar sem það virkar miklu hægar en á GPU: SSH inn og keyra pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM þarfir fyrir AI Inference fer eftir líkani og lotu stærð; athuga verkefnið skjöl fyrir núverandi tölur.
GPU verð verður birt þegar GPU netþjóna er hægt að panta.Hafðu samband við okkur ef þú vilt heyra þegar það gerist.
Hver VPS.org miðlari kemur með fullri rót aðgang, þannig að þú getur keyrt önnur verkfæri ásamt AI Inference innan RAM og geymslu miðlara.
Sérhver VPS.org miðlari kemur með fullri rót SSH aðgang, svo þú getur sett upp ökumenn, bókasafn og AI Inference þó þú þarft.
Nei, enginn miðlari kemur með CUDA runtime eða NVIDIA bílstjóri fyrirfram uppsett, og GPU netþjónar eru ekki í boði til að panta ennþá. Þú setur upp útgáfurnar AI Inference þarf sjálfur.
Já. VPS.org netþjónar eru viðvarandi sýndarvélar, ekki tímabundnar tilvik: AI Inference módel, stillingar og gögn eru á SSD geymslu miðlara þar til þú eyðir þeim.
Haltu vinnugögnum á SSD miðlara fyrir fljótur aðgang á AI Inference hlaupum og afritaðu lokið artifacts (þyngd, kynslóðir, embeddings) til geymslu utan VPS.org; snapshots og öryggisafrit eru á sama geymsluþyrpingu.
Þú getur uppfært hvaða VPS.org miðlara sem er í stærri áætlun frá stjórnborðinu; endurstækkunin endurræsir það og AI Inference uppsetningin þín berst yfir. GPU miðlarar eru ekki tiltækar ennþá.
Já. Backups eru greidd viðbót (daglega + 30% af áætlun verð, haldið 7 daga; vikulega + 20%, haldið 28 daga) og snapshots eru ókeypis, sem er gagnlegt fyrir langa AI Inference hlaupa. Bæði vera á sama geymslu klasa sem miðlara.
Hafðu samband við stuðning innan 30 daga frá fyrstu kaupum til að biðja um endurgreiðslu.GPU netþjónar eru ekki seldar ennþá, þannig að engin GPU pöntun er í boði.
GPU getu er takmörkuð.Segðu okkur um vinnuálag þitt og við munum svara með framboð og verðlagningu.