Servere AI modeller fra en NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur): LLMs, billedmodeller og andre forudsigelser. GPU-servere er ikke bestilles endnu; kontakt os for at blive informeret, når de er.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Eksempel på installationskommando
AI-inference betyder at køre trænede modeller til at producere forudsigelser. En GPU-inferenceserver holder en model indlæst på GPU'en og svar kræver meget hurtigere end en CPU.
GPU'en er gået igennem til din server alene, så latency er ikke påvirket af andre kunders GPU-job.
Brug Ollama, lama.cpp, Triton eller din egen API. Nogle rammer, såsom vLLM, har brug for nyere GPU'er end Pascal P40.
Kør flere servere bag din egen belastning balancer, hvis en GPU ikke er nok.
Serverer en mellemstor model eller flere mindre.
AI Inference kan bruge en NVIDIA GPU til at fremskynde sit arbejde. VPS.org GPU-servere er ikke tilgængelige til bestilling endnu; kontakt os for at høre, når de er. AI Inference er en generel GPU-accelereret arbejdsbyrde. Sørg for, at din software har CUDA-understøttelse, og at din driver / runtime versioner matcher arbejdsbyrden krav til AI Inference.
GPU-servere er ikke tilgængelige for bestilling endnu. I dag kan du køre AI Inference på en almindelig CPU-plan, hvor det virker langt langsommere end på en GPU: SSH i og køre pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM-behov for AI Inference afhænger af model og batchstørrelse; tjek projektdokumentationen for aktuelle tal.
GPU priser vil blive offentliggjort, når GPU-servere kan bestilles. Kontakt os, hvis du ønsker at høre, når det sker.
Ja. Hver VPS.org server leveres med fuld root adgang, så du kan køre andre værktøjer sammen AI Inference i serverens RAM og opbevaring.
Hver VPS.org server leveres med fuld rod SSH adgang, så du kan installere drivere, biblioteker og AI Inference dog du har brug for.
Nej. Ingen server leveres med en CUDA runtime eller NVIDIA driver forudinstalleret, og GPU-servere er ikke tilgængelige til at bestille endnu. Du installerer versionerne AI Inference har brug for dig selv.
Ja. VPS.org servere er vedvarende virtuelle maskiner, ikke efemerale tilfælde: AI Inference modeller, configs og data forbliver på serverens SSD-lagring, indtil du sletter dem.
Hold arbejder data på serverens SSD for hurtig adgang under AI Inference kører, og kopier færdige artefakter (vægte, generationer, indlejringer) til opbevaring uden for VPS.org; snapshots og backups forbliver på den samme lagerklynge.
Du kan opgradere enhver VPS.org server til en større plan fra kontrolpanelet; resize genstarter den og din AI Inference installation bærer over. GPU-servere er ikke tilgængelige endnu.
Ja. Backups er en betalt tilføjelse (daglig +30% af planens pris, holdt 7 dage; ugentligt +20%, holdt 28 dage) og snapshots er gratis, hvilket er nyttigt, før længe AI Inference kører. Begge bo på samme lagerklynge som serveren.
Kontakt support inden for 30 dage efter dit første køb for at anmode om en tilbagebetaling. GPU-servere er ikke solgt endnu, så der er ingen GPU-ordre involveret.
GPU kapacitet er begrænset. Fortæl os om din arbejdsbyrde, og vi vil svare med tilgængelighed og prissætning.