Servirajte AI modele iz NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura): LLMs, modeli slika i druga predviđanja. GPU poslužitelji još nisu u redu; kontaktirajte nas da budemo obaviješteni kada su.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Naredba
AI zaključak znači pokrenuti trenirani modeli za proizvodnju predviđanja. GPU zaključak server drži model uložen na GPU i odgovore zahtjeva mnogo brže od procesora.
GPU je prebačen na vaš server samo, tako da latency nije ugrožen od drugih kupaca GPU poslovi.
Koristite Ollamu, lama.cpp, Triton ili svoj API. Neki okviri, kao što je vLLM, trebaju novije GPU-ove od Pascal P40.
Pokrenite nekoliko poslužitelja iza vlastitog balansera ako jedan GPU nije dovoljan.
Poslužite jedan model srednje veličine ili nekoliko manjih.
AI Inference može koristiti NVIDIA GPU za ubrzanje rada. VPS.org GPU serveri još nisu dostupni za naručivanje; kontaktirajte nas da čujemo kada su. AI Inference je opći GPU-prispjeli GPU-a. Provjerite da li vaš softver ima podršku GUDA i da vaš vozač / verzija runtime odgovara zahtjevima za radni rad za AI Inference.
GPU poslužitelji još nisu dostupni za naručivanje. Danas možete pokrenuti AI Inference na redoviti CPU plan, gdje radi daleko sporije nego na GPU: SSH in i pokrenuti pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM potrebe za AI Inference ovise o modelu i veličini serije; provjerite projektnu dokumentaciju za trenutne brojke.
GPU cijena će biti objavljena kada GPU poslužitelji mogu biti naručiti. Kontaktirajte nas ako želite čuti kada se to dogodi.
Da. Svaki VPS.org poslužitelj dolazi s punim pristupom rootu, tako da možete pokrenuti druge alate uz AI Inference unutar RAM-a i pohrane poslužitelja.
Svaki VPS.org poslužitelj dolazi s punom root SSH pristup, tako da možete instalirati vozače, biblioteke i AI Inference kako god vam je potrebno.
Ne. Nijedan poslužitelj ne dolazi s CUDA runtime ili NVIDIA drajver unaprijed instaliran, a GPU poslužitelji još nisu dostupni za naručivanje. Instalirate verzije AI Inference treba sebe.
Da. VPS.org poslužitelji su stalni virtualni strojevi, a ne efemeralni primjerci: AI Inference modeli, konfiguracije i podaci ostaju na pohrani SSD poslužitelja dok ih ne izbrišete.
Nastavite raditi na SSD poslužitelja za brz pristup tijekom AI Inference pokrenutih, i kopirati završene artefakte (teže, generacije, ugrađivanja) u pohranu izvan VPS.org; snimke i sigurnosne kopije ostaju na istom pohranjivaču klastera.
Možete nadograditi svaki VPS.org poslužitelj na veći plan iz kontrolnog panela; reorganizacija ga ponovno pokreće i vaš AI Inference install nosi preko. GPU poslužitelji još nisu dostupni.
Da. Rezervne kopije su plaćeni dodatak (dnevno +30% cijene plana, čuvan 7 dana; tjedan +20%, čuvan 28 dana) i snimke su besplatne, što je korisno prije dugog AI Inference trčanje. Oba ostaju na istom pohranjivaču klastera kao i poslužitelj.
Kontaktna podrška u roku od 30 dana od vaše prve kupnje zatražiti povrat novca. GPU poslužitelji još nisu prodani, tako da nema GPU narudžbe.
GPU kapacitet je ograničen. Recite nam o svom radnom vremenu i odgovorit ćemo s raspoloživošću i cijenama.