Serveer AI modellen van een NVIDIA Tesla P40 (24 GB VRAM, Pascal architectuur): LLM's, beeldmodellen en andere voorspellingen. GPU servers zijn nog niet te bestellen; neem contact met ons op om geïnformeerd te worden wanneer ze dat zijn.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Voorbeeld installatiecommando
AI-inferentie betekent getrainde modellen uitvoeren om voorspellingen te produceren. Een GPU-inferentieserver houdt een model geladen op de GPU en antwoorden vragen veel sneller dan een CPU.
De GPU wordt alleen doorgeleid naar uw server, zodat latency niet wordt beïnvloed door andere GPU-taken van klanten.
Gebruik Ollama, lama.cpp, Triton of je eigen API. Sommige kaders, zoals vLLM, hebben nieuwere GPU's nodig dan de Pascal P40.
Voer meerdere servers achter uw eigen load balancer als een GPU niet genoeg is.
Serveer één model van middelgrote omvang of meerdere kleinere modellen.
AI Inference kan een NVIDIA GPU gebruiken om zijn werk te versnellen. VPS.org GPU servers zijn nog niet beschikbaar om te bestellen; neem contact met ons op om te horen wanneer ze zijn. AI Inference is een algemene GPU-versnelde werklast. Zorg ervoor dat uw software CUDA ondersteuning heeft en dat uw driver / runtime versies overeenkomen met de werkbelasting eisen voor AI Inference.
GPU-servers zijn nog niet beschikbaar om te bestellen. Vandaag kunt u AI Inference uitvoeren op een regelmatig CPU-plan, waar het veel langzamer werkt dan op een GPU: SSH in en draaien pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM-behoeften voor AI Inference zijn afhankelijk van het model en de batchgrootte; controleer de projectdocumentatie voor de huidige cijfers.
GPU-prijzen worden gepubliceerd wanneer GPU-servers kunnen worden besteld. Neem contact met ons op als u wilt horen wanneer dat gebeurt.
Ja. Elke VPS.org server wordt geleverd met volledige root toegang, zodat u andere tools kunt draaien naast AI Inference in het RAM-geheugen en opslag van de server.
Elke VPS.org server wordt geleverd met volledige root SSH toegang, zodat u kunt drivers, bibliotheken en AI Inference te installeren, zoals u nodig hebt.
Nee. Er wordt geen server meegeleverd met een CUDA runtime of NVIDIA driver vooraf geïnstalleerd, en GPU servers zijn nog niet beschikbaar om te bestellen. U installeert de versies AI Inference heeft u zelf nodig.
VPS.org servers zijn aanhoudende virtuele machines, niet efemerale instanties: AI Inference modellen, configuraties en gegevens blijven op de SSD-opslag van de server totdat u ze verwijdert.
Blijf werken aan gegevens over de SSD van de server voor snelle toegang tijdens AI Inference-runs, en kopieer voltooide artefacten (gewichten, generaties, inbeddingen) naar opslag buiten VPS.org; snapshots en back-ups blijven op hetzelfde opslagcluster.
U kunt elke VPS.org-server upgraden naar een groter plan vanuit het bedieningspaneel; de grootte van de server herstart het en uw AI Inference installatie draagt over. GPU-servers zijn nog niet beschikbaar.
Ja. Back-ups zijn een betaalde add-on (dagelijks +30% van de planprijs, 7 dagen gehouden; wekelijks +20%, 28 dagen gehouden) en snapshots zijn gratis, die nuttig is voordat lange AI Inference draait. Beide blijven op dezelfde opslag cluster als de server.
Neem binnen 30 dagen na uw eerste aankoop contact op met ondersteuning om een terugbetaling te vragen. GPU-servers worden nog niet verkocht, dus er is geen GPU-order bij betrokken.
GPU capaciteit is beperkt. Vertel ons over uw werklast en we zullen antwoorden met beschikbaarheid en prijzen.