Dienen Sie KI-Modelle aus einem NVIDIA Tesla P40 (24 GB VRAM, Pascal Architektur): LLMs, Image-Modelle und andere Vorhersagen. GPU-Server sind noch nicht bestellbar; kontaktieren Sie uns, um benachrichtigt zu werden, wenn sie sind.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Beispiel Installieren
AI-Inferenz bedeutet, dass trainierte Modelle ausgeführt werden, um Vorhersagen zu erzeugen. Ein GPU-Inferenzserver hält ein Modell auf der GPU geladen und beantwortet Anfragen viel schneller als eine CPU.
Die GPU wird allein an Ihren Server weitergeleitet, so dass die Latenz nicht von den GPU-Jobs anderer Kunden beeinflusst wird.
Verwenden Sie Ollama, llama.cpp, Triton oder Ihre eigene API. Einige Frameworks, wie vLLM, benötigen neuere GPUs als Pascal P40.
Führen Sie mehrere Server hinter Ihrem eigenen Load Balancer aus, wenn eine GPU nicht genug ist.
Servieren Sie ein mittleres Modell oder mehrere kleinere.
AI Inference kann eine NVIDIA GPU verwenden, um seine Arbeit zu beschleunigen. VPS.org GPU-Server sind noch nicht verfügbar, kontaktieren Sie uns, um zu hören, wenn sie sind. AI Inference ist eine allgemeine GPU-beschleunigte Arbeitsbelastung. Stellen Sie sicher, dass Ihre Software CUDA-Unterstützung hat und dass Ihre Treiber / Laufzeitversionen die Workload-Anforderungen für AI Inference entsprechen.
GPU-Server sind noch nicht verfügbar. Heute können Sie AI Inference auf einem regulären CPU-Plan ausführen, wo es viel langsamer funktioniert als auf einer GPU: SSH in und laufen pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM-Anforderungen für AI Inference hängen vom Modell und der Chargengröße ab; überprüfen Sie die Projektdokumentation auf aktuelle Zahlen.
GPU-Preise werden veröffentlicht, wenn GPU-Server bestellt werden können. Kontaktieren Sie uns, wenn Sie hören möchten, wenn das passiert.
Ja. Jeder VPS.org-Server verfügt über einen vollständigen Root-Zugriff, sodass Sie andere Werkzeuge neben AI Inference im RAM und Speicher des Servers ausführen können.
Jeder VPS.org Server verfügt über einen vollständigen Root-SSH-Zugang, so dass Sie Treiber, Bibliotheken und AI Inference installieren können, wie Sie es auch brauchen.
Nein. Kein Server verfügt über einen vorinstallierten CUDA-Laufzeit- oder NVIDIA-Treiber, und GPU-Server stehen noch nicht zur Verfügung. Sie installieren die Versionen AI Inference selbst.
Ja. VPS.org Server sind persistente virtuelle Maschinen, nicht ephemere Instanzen: AI Inference Modelle, Konfigurationen und Daten bleiben auf dem SSD-Speicher des Servers, bis Sie sie löschen.
Halten Sie die Arbeitsdaten auf der SSD des Servers für schnellen Zugriff während AI Inference läuft, und kopieren Sie fertige Artefakte (Gewichte, Generationen, Einbettungen) auf Speicher außerhalb VPS.org; Snapshots und Backups bleiben auf dem gleichen Speichercluster.
Sie können jeden VPS.org-Server auf einen größeren Plan von der Systemsteuerung aktualisieren; die Größe ändert es neu und Ihre AI Inference-Installation übernimmt. GPU-Server sind noch nicht verfügbar.
Ja. Backups sind ein kostenpflichtiges Add-on (täglich +30% des Planpreises, 7 Tage gehalten; wöchentlich +20%, 28 Tage gehalten) und Snapshots sind kostenlos, was nützlich ist, bevor lange AI Inference läuft. Beide bleiben auf dem gleichen Storage-Cluster wie der Server.
Kontaktieren Sie den Support innerhalb von 30 Tagen nach Ihrem ersten Kauf, um eine Rückerstattung zu beantragen. GPU-Server werden noch nicht verkauft, so dass keine GPU-Bestellung beteiligt ist.
Die GPU-Kapazität ist begrenzt. Erzählen Sie uns von Ihrem Arbeitsaufwand und wir werden mit Verfügbarkeit und Preisgestaltung antworten.