Serve AI modeļi no NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture): LLMs, attēlu modeļi un citas prognozes. GPU serveri vēl nav pasūtāmi; sazinieties ar mums, lai saņemtu paziņojumu, kad tie ir.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Piemēru instalēšanas komanda
AI inclusion nozīmē, ka darbojas apmācīti modeļi, lai radītu prognozes. GPU inclusion serveris uztur modeli ielādēts GPU un atbildes pieprasa daudz ātrāk nekā CPU.
GPU tiek nodots uz jūsu serveri atsevišķi, tāpēc latentums nav ietekmējusi citu klientu GPU darbu.
Izmantojiet Ollama, lama.cpp, Triton vai savu API. Daži režīmi, piemēram, vLLM, ir nepieciešams jaunāks GPU nekā Pascal P40.
Ja viens GPU nav pietiekams, palaist vairākus serverus aiz jūsu paša slodzes balansētāja.
Servisa vienu vidēja lieluma modeli vai vairākas mazākas.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
GPU serveri vēl nav pieejami pasūtīt. Šodien jūs varat palaist AI Inference uz regulāra CPU plāna, kur tas darbojas daudz lēnāk nekā GPU: SSH iekšā un palaist pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM vajadzības AI Inference ir atkarīga no modeļa un partijas izmēra; pārbaudiet projekta dokumentāciju pašreizējiem skaitļiem.
GPU tarifikācija tiks publicēta, kad GPU serveri varēs pasūtīt. Sazinieties ar mums, ja vēlaties dzirdēt, kad tas notiks.
Jā. Katrs VPS.org serveris nāk ar pilnu root piekļuvi, lai jūs varētu palaist citus rīkus blakus AI Inference ietvaros servera RAM un glabāšanu.
Katrs VPS.org serveris nāk ar pilnu root SSH piekļuvi, lai jūs varētu instalēt draiveri, bibliotēkas un AI Inference tomēr jums ir nepieciešams.
Nē. Neviens serveris nāk ar CUDA darba laiku vai NVIDIA draiveris instalēts, un GPU serveri nav pieejami, lai pasūtītu vēl. Jūs instalēt versijas AI Inference ir nepieciešams pats.
Jā. VPS.org serveri ir pastāvīga virtuālās mašīnas, nevis ephemmeral instances: AI Inference modeļi, konfigurācijas un dati palikt uz servera SSD glabāšanas līdz jūs tos dzēst.
Saglabāt servera SSD darba datus ātrai piekļuvei AI Inference paužu laikā, un kopēt pabeigtos artefaktus (svarus, paaudzes, iegultos datus) uz glabāšanu ārpus VPS.org; momentuzņēmumus un rezerves kopijas palikt uz tā paša datu glabāšanas klastera.
Jūs varat uzlabot jebkuru VPS.org serveri uz lielāku plānu no vadības paneļa; mainot izmēru, tas tiek atjaunots, un jūsu AI Inference instalācija pārpilda vairāk. GPU serveri vēl nav pieejami.
Jā. Backups ir apmaksāts papildmaksa (dienas +30% no plāna cenas, saglabāts 7 dienas; iknedēļas +20%, saglabāts 28 dienas) un fotogrāfijām ir bezmaksas, kas ir noderīga, pirms ilgi AI Inference iet. Abi palikt uz tā paša glabāšanas klasterī kā serveris.
Kontaktu atbalsts 30 dienu laikā pēc pirmā pirkuma pieprasīt kompensāciju. GPU serveri vēl netiek pārdoti, tāpēc nav iesaistīts GPU pasūtījums.
GPU jauda ir ierobežota. Pastāsti mums par savu darba slodzi, un mēs atbildēsim ar pieejamību un cenu noteikšanu.