Servera AI-modeller från en NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur): LLMs, bildmodeller och andra förutsägelser. GPU-servrar är ännu inte beställas; kontakta oss för att bli underrättade när de är.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Exempel på installationskommando
AI-slutsats innebär att köra utbildade modeller för att producera förutsägelser. En GPU-slutserver håller en modell laddad på GPU och svarar begär mycket snabbare än en CPU.
GPU skickas bara till din server, så latens påverkas inte av andra kunders GPU-jobb.
Använd Ollama, lama.cpp, Triton eller ditt eget API. Vissa ramar, såsom VLLM, behöver nyare GPU-enheter än Pascal P40.
Kör flera servrar bakom din egen lastbalanser om en GPU inte räcker.
Servera en medelstor modell eller flera mindre.
AI Inference kan använda en NVIDIA GPU för att snabba upp sitt arbete. VPS.org GPU-servrar är inte tillgängliga för beställning ännu. Kontakta oss för att höra när de är. AI Inference är en allmän GPU-accelererad arbetsbelastning. Se till att din programvara har stöd för CUDA och att dina drivrutins-/runtime-versioner matchar arbetsbelastningskraven för AI Inference.
GPU- servrar är inte tillgängliga för beställning ännu. Idag kan du köra AI Inference på en vanlig CPU- plan, där det fungerar mycket långsammare än på en GPU: SSH i och kör pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM-behoven för AI Inference beror på modellen och partistorleken; kontrollera projektdokumentationen för aktuella siffror.
GPU-pris publiceras när GPU-servrar kan beställas. Kontakta oss om du vill höra när det händer.
Ja. Varje VPS.org-server har full åtkomst till root, så att du kan köra andra verktyg tillsammans med AI Inference inom serverns RAM-minne och lagring.
Varje VPS.org-server kommer med full åtkomst till roten SSH, så att du kan installera drivrutiner, bibliotek och AI Inference hur du än behöver.
Nej. Ingen server levereras med en CUDA-runtime eller NVIDIA-drivrutin förinstallerad, och GPU-servrar är inte tillgängliga för beställning ännu. Du installerar versionerna AI Inference behöver dig själv.
Ja. VPS.org-servrar är ihållande virtuella maskiner, inte efemära instanser: AI Inference-modeller, konfigurationer och data stannar på serverns SSD-lagring tills du tar bort dem.
Fortsätt att arbeta data på serverns SSD för snabb åtkomst under AI Inference körningar, och kopiera färdiga artefakter (vikter, generationer, inbäddningar) för att lagra utanför VPS.org; ögonblicksbilder och säkerhetskopior stannar på samma lagringskluster.
Du kan uppgradera vilken VPS.org-server som helst till en större plan från kontrollpanelen. Omstorleken startar om den och installationen av AI Inference överförs. GPU-servrar är ännu inte tillgängliga.
Ja. Säkerhetskopiering är ett betalt tillägg (dagligen +30% av planens pris, som hålls 7 dagar; veckovis +20%, som hålls 28 dagar) och ögonblicksbilder är gratis, vilket är användbart innan långa AI Inference körs. Båda stannar på samma lagringskluster som servern.
Kontakta supporten inom 30 dagar efter ditt första köp för att begära återbetalning. GPU-servrar säljs inte ännu, så ingen GPU-beställning är inblandad.
GPU-kapaciteten är begränsad. Berätta om din arbetsbelastning och vi svarar med tillgänglighet och prissättning.