Shërben modele AI nga një NVIDIA Tesla P40 (24 GB VRAM, arkitekturë Pascal): LLM, modele imazhi dhe parashikime të tjera. Serverët GPU nuk janë ende të porositshëm; kontaktoni me ne për të marrë njoftimin kur të jenë.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Shembull i komandës së instalimit
AI inferimi do të thotë që të ekzekutohen modele të trajnuara për të prodhuar parashikime. Një server i inferimit GPU mban një model të ngarkuar në GPU dhe përgjigjet kërkesave shumë më shpejt se një CPU.
GPU kalon vetëm tek serveri juaj, kështu që vonesa nuk ndikon nga punët e GPU të klientëve të tjerë.
Përdor Ollama, llama.cpp, Triton ose API tënde. Disa frameworks, si vLLM, kërkojnë GPU më të reja se Pascal P40.
Ekzekuto disa servera pas balancimit të ngarkesave të tua nëse një GPU nuk është e mjaftueshme.
Shërbe një model me madhësi të mesme ose disa të vegjël.
AI Inference mund të përdorë një GPU NVIDIA për të shpejtuar punën e vet. Serverët GPU VPS.org nuk janë ende në dispozicion për porosi; kontakto me ne për të dëgjuar kur do të jenë në dispozicion. AI Inference është një ngarkim i përgjithshëm i përshpejtuar me GPU. Sigurohu që softueri juaj mbështet CUDA dhe që driveri juaj / versionet e kohës së ekzekutimit përputhen me kërkesat e ngarkimit për AI Inference.
Serverët GPU nuk janë ende në dispozicion për porosi. Sot mund të përdorni AI Inference në një plan të zakonshëm CPU, ku punon shumë më ngadalë se në një GPU: SSH në dhe pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Nevojat e VRAM për AI Inference varen nga modeli dhe madhësia e lotit; kontrollo dokumentacionin e projektit për shifrat aktuale.
Çmimi i GPU do të publikohet kur serverat GPU të jenë të porositur. Kontaktoni me ne nëse dëshironi të dëgjoni kur të ndodhë kjo.
Çdo server VPS.org ka hyrje të plotë root, kështu që mund të përdorësh instrumente të tjera bashkë me AI Inference brenda RAM-it dhe depozitimit të serverit.
Çdo server VPS.org vjen me hyrje të plotë root SSH, kështu që mund të instaloni driverët, libraritë dhe AI Inference si të doni.
Jo. Asnjë server nuk vjen me një runtime CUDA apo driver NVIDIA të parainstaluar, dhe serverat GPU nuk janë ende në dispozicion për porosi. Ju instaloni vetë versionet që AI Inference ka nevojë.
Po. Serverat VPS.org janë makina virtuale të përhershme, jo raste të shkurtra: modelet AI Inference, konfigurimet dhe të dhënat mbeten në SSD të serverit deri sa ti eleminosh ato.
Mbaj të dhënat e punës në SSD të serverit për hyrje të shpejtë gjatë AI Inference, dhe kopjo artifaktet e përfunduara (masa, gjenerata, ndërlidhje) në depozitim jashtë VPS.org; fotot dhe backupet qëndrojnë në të njëjtin grup depozitimi.
Mund të përmirësoni çdo server VPS.org në një plan më të madh nga paneli i kontrollit; ripërmarrje e rinis atë dhe instalimi AI Inference i juaj merr mbi. Serverët GPU nuk janë ende në dispozicion.
Po. Backup-et janë një shtesë e paguar (përditë +30% e çmimit të planit, mbajtur 7 ditë; javor +20%, mbajtur 28 ditë) dhe snapshot-et janë pa pagesë, që është e dobishme para se AI Inference të ecë gjatë. Të dyja qëndrojnë në të njëjtin cluster të ruajtjes si serveri.
Kontakto ndihmën brenda 30 ditëve nga blerja e parë për të kërkuar një kthim parash. Serverët GPU nuk janë shitur ende, kështu që nuk ka porosi GPU.
Kapaciteti i GPU është i kufizuar. Na tregoni rreth ngarkesave tuaja të punës dhe do t'ju përgjigjemi me disponueshmërinë dhe çmimin.