Serve AI modeliai iš NVIDIA Tesla P40 (24 GB VRAM, Pascal architektūra): LLMs, vaizdo modeliai ir kitos prognozės. GPU serveriai dar neužsakomi; susisiekite su mumis, kad sužinotume, kada jie bus pateikti.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Pavyzdžio įdiegimo komanda
AI išlyga reiškia, kad veikia apmokyti modeliai, kad gaminti prognozes. GPU iškvietimo serveris išlaiko GPU pakrautą modelį ir atsakymai užsako daug greičiau nei procesorius.
GPU yra perduodamas į serverio vien, todėl latentinis neturi įtakos kitų klientų GPU darbo.
Naudokite Ollama, lama.cpp, Triton arba savo API. Kai kurios sistemos, pavyzdžiui, vLLM, reikia naujesnių GPU nei Pascal P40.
Jei vieno GPU nepakanka, paleisti keletą serverių už savo apkrovos balansuotojo.
Tarnauti vieną vidutinio dydžio modelį arba kelis mažesnius.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
GPU serverius dar galima užsisakyti. Šiandien galite paleisti AI Inference pagal reguliarų procesoriaus planą, kuriame jis veikia daug lėčiau nei GPU: SSH įjungti ir paleisti pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM poreikiai AI Inference priklauso nuo modelio ir partijos dydžio; patikrinkite projekto dokumentus esamiems duomenims.
Kainos GPU bus paskelbtos, kai GPU serveriai bus užsakyti. Jei norite, susisiekite su mumis, kai tai įvyks.
Taip. Kiekvienas VPS.org serveris ateina su visiška root prieiga, todėl jūs galite paleisti kitus įrankius kartu su AI Inference serverio RAM ir saugojimo.
Kiekvienas VPS.org serveris ateina su pilna šaknis SSH prieigą, todėl jūs galite įdiegti tvarkyklės, bibliotekos ir AI Inference, tačiau jums reikia.
Ne. Nėra serverio su CUDA darbo laiku arba NVIDIA tvarkykle, įdiegta, o GPU serveriai dar nėra prieinami užsisakyti. Jūs turite įdiegti versijas AI Inference.
Taip. VPS.org serveriai yra nuolat virtualios mašinos, o ne efemeral incidentai: AI Inference modeliai, konfigūracijos ir duomenys likti ant serverio SSD saugojimo, kol jūs juos ištrinti.
Laikyti serverio SSD darbo duomenis, kad būtų galima greitai pasiekti AI Inference paleidimo metu, ir nukopijuoti baigtus artefaktus (svorius, kartas, įterpimus) į saugojimą išorėje, išorėje, VPS.org; vaizdai ir atsarginės kopijos lieka tame pačiame saugojimo klaselyje.
Galite atnaujinti bet kurį VPS.org serverį į didesnį planą iš valdymo pulto; jo dydis atnaujinamas, o jūsų AI Inference įdiegimas atlieka perėjimus. GPU serverių dar nėra.
Taip. Atsarginės dalys yra apmokamas papildomas (dienos +30% plano kainos, saugomi 7 dienas; kas savaitę +20%, laikomi 28 dienas) ir vaizdai yra nemokamas, tai yra naudinga prieš ilgai AI Inference bėgti. Abu likti ant to paties saugojimo klasterio kaip serveris.
Kontaktinė parama per 30 dienų nuo pirmojo pirkimo prašyti grąžinti. GPU serveriai dar nėra parduodami, todėl nėra GPU užsakymo.
GPU pajėgumas ribotas. Praneškite mums apie savo darbo krūvį ir atsakysime į tai, ar bus galima naudotis ir ar bus nustatyta kaina.