Die Llama-Modelle von Meta selbst auf einem NVIDIA Tesla P40 (24 GB VRAM, Pascal-Architektur) sind mit 8B-Modellen in voller Präzision und größeren Modellen ausgestattet, wenn sie quantifiziert werden. GPU-Server sind noch nicht bestellbar; kontaktieren Sie uns, wenn sie benachrichtigt werden.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Beispiel Installieren
Llama ist Metas Familie von offen verfügbaren großen Sprachmodellen. Llama auf Ihrem eigenen GPU-Server läuft und hält Eingabeaufforderung und Daten privat.
Läuft 8B-Modelle auf 24 GB VRAM. 70B-Modelle passen nicht auf eine einzige 24 GB-Karte auf gängigen Quantisierungsebenen.
Ihre Eingabeaufforderung und Daten bleiben auf Ihrem Server, ohne API-Anrufe von Drittanbietern.
Verwenden Sie GGUF mit llama.cpp oder Ollama, oder nativen PyTorch Gewichte.
Dient Modellen mit Ollama oder dem llama.cpp Server für einen OpenAI-kompatiblen Endpunkt.
LLaMA kann eine NVIDIA GPU verwenden, um seine Arbeit zu beschleunigen. VPS.org GPU-Server sind noch nicht verfügbar, kontaktieren Sie uns, um zu hören, wenn sie sind. LLaMA ist eine allgemeine GPU-beschleunigte Arbeitsbelastung. Stellen Sie sicher, dass Ihre Software CUDA-Unterstützung hat und dass Ihre Treiber / Laufzeitversionen die Workload-Anforderungen für LLaMA entsprechen.
GPU-Server sind noch nicht verfügbar. Heute können Sie LLaMA auf einem regulären CPU-Plan ausführen, wo es viel langsamer funktioniert als auf einer GPU: SSH in und laufen curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM-Anforderungen für LLaMA hängen vom Modell und der Chargengröße ab; überprüfen Sie die Projektdokumentation auf aktuelle Zahlen.
GPU-Preise werden veröffentlicht, wenn GPU-Server bestellt werden können. Kontaktieren Sie uns, wenn Sie hören möchten, wenn das passiert.
Ja. Jeder VPS.org-Server verfügt über einen vollständigen Root-Zugriff, sodass Sie andere Werkzeuge neben LLaMA im RAM und Speicher des Servers ausführen können.
Jeder VPS.org Server verfügt über einen vollständigen Root-SSH-Zugang, so dass Sie Treiber, Bibliotheken und LLaMA installieren können, wie Sie es auch brauchen.
Nein. Kein Server verfügt über einen vorinstallierten CUDA-Laufzeit- oder NVIDIA-Treiber, und GPU-Server stehen noch nicht zur Verfügung. Sie installieren die Versionen LLaMA selbst.
Ja. VPS.org Server sind persistente virtuelle Maschinen, nicht ephemere Instanzen: LLaMA Modelle, Konfigurationen und Daten bleiben auf dem SSD-Speicher des Servers, bis Sie sie löschen.
Halten Sie die Arbeitsdaten auf der SSD des Servers für schnellen Zugriff während LLaMA läuft, und kopieren Sie fertige Artefakte (Gewichte, Generationen, Einbettungen) auf Speicher außerhalb VPS.org; Snapshots und Backups bleiben auf dem gleichen Speichercluster.
Sie können jeden VPS.org-Server auf einen größeren Plan von der Systemsteuerung aktualisieren; die Größe ändert es neu und Ihre LLaMA-Installation übernimmt. GPU-Server sind noch nicht verfügbar.
Ja. Backups sind ein kostenpflichtiges Add-on (täglich +30% des Planpreises, 7 Tage gehalten; wöchentlich +20%, 28 Tage gehalten) und Snapshots sind kostenlos, was nützlich ist, bevor lange LLaMA läuft. Beide bleiben auf dem gleichen Storage-Cluster wie der Server.
Kontaktieren Sie den Support innerhalb von 30 Tagen nach Ihrem ersten Kauf, um eine Rückerstattung zu beantragen. GPU-Server werden noch nicht verkauft, so dass keine GPU-Bestellung beteiligt ist.
Die GPU-Kapazität ist begrenzt. Erzählen Sie uns von Ihrem Arbeitsaufwand und wir werden mit Verfügbarkeit und Preisgestaltung antworten.