Wir bereiten GPU-Server mit einem NVIDIA Tesla P40 (24 GB VRAM, Pascal-Architektur) für den Betrieb von Open-Source-LLMs wie Llama, Mistral und Gemma mit Ollama vor. GPU-Server sind noch nicht bestellbar; kontaktieren Sie uns, wenn sie benachrichtigt werden, wenn sie sind.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Beispiel Installieren
Ollama ist ein leichtes Werkzeug zum Laufen großer Sprachmodelle auf Ihrem eigenen Rechner. Auf einem GPU-Server läuft das Modell auf der GPU statt auf der CPU, was die Reaktionen wesentlich schneller macht.
Ziehen Sie Llama, Mistral, Gemma, Phi, Qwen und viele andere Modelle mit einem Befehl.
Passt bei Quantisierung bequem zu 7B bis 13B Modellen und rund 30B Modellen. 70B Modelle passen nicht auf eine 24 GB Karte auf gängigen Quantisierungsebenen.
Prompts und Daten bleiben auf Ihrem Server, ohne Drittanbieter-API-Aufrufe.
Ollama stellt einen OpenAI-kompatiblen Endpunkt frei, den viele bestehende Clients verwenden können.
Ollama kann eine NVIDIA GPU verwenden, um seine Arbeit zu beschleunigen. VPS.org GPU-Server sind noch nicht verfügbar, kontaktieren Sie uns, um zu hören, wenn sie sind. Ollama ist in erster Linie eine LLM-Inferenz / Chat-Workload. Sie möchten schnelle zufällige Zugriffs-Lese von Festplatte zu Speicher und genug VRAM für das Modell plus Kontextfenster.
GPU-Server sind noch nicht verfügbar. Heute können Sie Ollama auf einem regulären CPU-Plan ausführen, wo es viel langsamer funktioniert als auf einer GPU: SSH in und laufen curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-Inferenz VRAM-Skalen mit Modellparametern: Ein 7B-Modell benötigt etwa 5 bis 8 GB VRAM und ein 13B-Modell etwa 10 bis 14 GB, während 70B-Modelle mehrere GPUs oder eine starke Quantisierung benötigen.
GPU-Preise werden veröffentlicht, wenn GPU-Server bestellt werden können. Kontaktieren Sie uns, wenn Sie hören möchten, wenn das passiert.
Ja. Jeder VPS.org-Server verfügt über einen vollständigen Root-Zugriff, sodass Sie andere Werkzeuge neben Ollama im RAM und Speicher des Servers ausführen können.
Jeder VPS.org Server verfügt über einen vollständigen Root-SSH-Zugang, so dass Sie Treiber, Bibliotheken und Ollama installieren können, wie Sie es auch brauchen.
Nein. Kein Server verfügt über einen vorinstallierten CUDA-Laufzeit- oder NVIDIA-Treiber, und GPU-Server stehen noch nicht zur Verfügung. Sie installieren die Versionen Ollama selbst.
Ja. VPS.org Server sind persistente virtuelle Maschinen, nicht ephemere Instanzen: Ollama Modelle, Konfigurationen und Daten bleiben auf dem SSD-Speicher des Servers, bis Sie sie löschen.
Halten Sie die Arbeitsdaten auf der SSD des Servers für schnellen Zugriff während Ollama läuft, und kopieren Sie fertige Artefakte (Gewichte, Generationen, Einbettungen) auf Speicher außerhalb VPS.org; Snapshots und Backups bleiben auf dem gleichen Speichercluster.
Sie können jeden VPS.org-Server auf einen größeren Plan von der Systemsteuerung aktualisieren; die Größe ändert es neu und Ihre Ollama-Installation übernimmt. GPU-Server sind noch nicht verfügbar.
Ja. Backups sind ein kostenpflichtiges Add-on (täglich +30% des Planpreises, 7 Tage gehalten; wöchentlich +20%, 28 Tage gehalten) und Snapshots sind kostenlos, was nützlich ist, bevor lange Ollama läuft. Beide bleiben auf dem gleichen Storage-Cluster wie der Server.
Kontaktieren Sie den Support innerhalb von 30 Tagen nach Ihrem ersten Kauf, um eine Rückerstattung zu beantragen. GPU-Server werden noch nicht verkauft, so dass keine GPU-Bestellung beteiligt ist.
Die GPU-Kapazität ist begrenzt. Erzählen Sie uns von Ihrem Arbeitsaufwand und wir werden mit Verfügbarkeit und Preisgestaltung antworten.