Posluži AI modele iz NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura): LLMs, image modeli i druga predviđanja. GPU serveri još nisu dostupni za narudžbu; kontaktirajte nas da biste bili obaviješteni kada budu dostupni.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Primjer naredbe za instaliranje
AI inference znači pokretanje obučenih modela za proizvodnju predviđanja. GPU inference server drži model učitan na GPU i odgovara na zahtjeve mnogo brže nego CPU.
GPU se prenosi samo na vaš server, tako da latencija nije pod utjecajem GPU poslova drugih korisnika.
Koristi Ollama, llama.cpp, Triton ili vlastito API. Neki okviri, kao što je vLLM, zahtijevaju novije GPU-ove od Pascal P40.
Pokrenite nekoliko servera iza vlastitog balansa opterećenja ako jedan GPU nije dovoljan.
Poslužite jedan model srednje veličine ili nekoliko manjih.
AI Inference može koristiti NVIDIA GPU da ubrza svoj rad. VPS.org GPU serveri još nisu dostupni za narudžbu; kontaktirajte nas da saznate kada će biti dostupni. AI Inference je generalni GPU-accelerated workload. Provjerite da li vaš softver podržava CUDA i da li vaš driver / runtime verzije odgovaraju zahtjevima za workload za AI Inference.
GPU serveri još nisu dostupni za narudžbu. Danas možete pokrenuti AI Inference na redovnom CPU planu, gdje radi mnogo sporije nego na GPU: SSH u i pokrenite pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM potrebe za AI Inference ovise o modelu i veličini serije; pogledajte projektnu dokumentaciju za trenutne brojeve.
Cijene GPU-a će biti objavljene kada se GPU serveri mogu naručiti. Kontaktirajte nas ako želite čuti kada se to dogodi.
Svaki VPS.org server ima potpuni root pristup, tako da možeš pokrenuti druge alate pored AI Inference u RAM-u servera i pohrani.
Svaki VPS.org server dolazi sa punim root SSH pristupom, tako da možete instalirati drivere, biblioteke i AI Inference kako god vam treba.
Ne. Nijedan server ne dolazi s CUDA runtimeom ili NVIDIA driverom unaprijed instaliranim, a GPU serveri još nisu dostupni za narudžbu. Sami instalirajte verzije koje AI Inference treba.
Da. VPS.org serveri su trajne virtualne mašine, a ne efemerne instance: AI Inference modeli, konfiguracije i podaci ostaju na SSD pohrani servera dok ih ne izbrišete.
Zadržavanje radnih podataka na SSD-u servera za brz pristup tokom AI Inference pokretanja, i kopiranje gotovih artefakata (težina, generacije, ugradnje) u pohranu izvan VPS.org; snimke i sigurnosne kopije ostaju na istom clusteru za pohranu.
Možete nadograditi bilo koji VPS.org server na veći plan iz kontrolne ploče; promjena veličine ga ponovo pokreće i vaša AI Inference instalacija se prenosi. GPU serveri još nisu dostupni.
Da. Sigurnosne kopije su plaćen dodatak (dnevno +30% od cijene plana, čuva se 7 dana; sedmično +20%, čuva se 28 dana) i snimke su besplatne, što je korisno prije dugih AI Inference pokretanja. Oba ostaju na istom klasteru pohrane kao i server.
Kontaktirajte podršku u roku od 30 dana od prve kupnje da biste zatražili povrat novca. GPU serveri još nisu prodani, tako da nema narudžbe GPU-a.
Kapacitet grafičkog procesora je ograničen. Recite nam o svom opterećenju i odgovorit ćemo s dostupnošću i cijenama.