De Llama modellen van Self-host Meta op een NVIDIA Tesla P40 (24 GB VRAM, Pascal architectuur). Geschikt voor 8B modellen met volledige precisie en grotere modellen wanneer ze worden gequantiseerd. GPU servers zijn nog niet te bestellen; neem contact met ons op om geïnformeerd te worden wanneer ze zijn.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Voorbeeld installatiecommando
Llama is Meta's familie van open beschikbare grote taalmodellen. Llama draaien op uw eigen GPU-server houdt prompts en data privé.
Runs 8B modellen op 24 GB VRAM. 70B modellen passen niet op een enkele 24 GB kaart bij gemeenschappelijke quantiseringsniveaus.
Uw prompts en gegevens blijven op uw server, zonder API-oproepen van derden.
Gebruik GGUF met lama.cpp of Ollama, of native PyTorch gewichten.
Serveer modellen met Ollama of de lama.cpp server voor een OpenAI-compatibel eindpunt.
LLaMA kan een NVIDIA GPU gebruiken om zijn werk te versnellen. VPS.org GPU servers zijn nog niet beschikbaar om te bestellen; neem contact met ons op om te horen wanneer ze zijn. LLaMA is een algemene GPU-versnelde werklast. Zorg ervoor dat uw software CUDA ondersteuning heeft en dat uw driver / runtime versies overeenkomen met de werkbelasting eisen voor LLaMA.
GPU-servers zijn nog niet beschikbaar om te bestellen. Vandaag kunt u LLaMA uitvoeren op een regelmatig CPU-plan, waar het veel langzamer werkt dan op een GPU: SSH in en draaien curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM-behoeften voor LLaMA zijn afhankelijk van het model en de batchgrootte; controleer de projectdocumentatie voor de huidige cijfers.
GPU-prijzen worden gepubliceerd wanneer GPU-servers kunnen worden besteld. Neem contact met ons op als u wilt horen wanneer dat gebeurt.
Ja. Elke VPS.org server wordt geleverd met volledige root toegang, zodat u andere tools kunt draaien naast LLaMA in het RAM-geheugen en opslag van de server.
Elke VPS.org server wordt geleverd met volledige root SSH toegang, zodat u kunt drivers, bibliotheken en LLaMA te installeren, zoals u nodig hebt.
Nee. Er wordt geen server meegeleverd met een CUDA runtime of NVIDIA driver vooraf geïnstalleerd, en GPU servers zijn nog niet beschikbaar om te bestellen. U installeert de versies LLaMA heeft u zelf nodig.
VPS.org servers zijn aanhoudende virtuele machines, niet efemerale instanties: LLaMA modellen, configuraties en gegevens blijven op de SSD-opslag van de server totdat u ze verwijdert.
Blijf werken aan gegevens over de SSD van de server voor snelle toegang tijdens LLaMA-runs, en kopieer voltooide artefacten (gewichten, generaties, inbeddingen) naar opslag buiten VPS.org; snapshots en back-ups blijven op hetzelfde opslagcluster.
U kunt elke VPS.org-server upgraden naar een groter plan vanuit het bedieningspaneel; de grootte van de server herstart het en uw LLaMA installatie draagt over. GPU-servers zijn nog niet beschikbaar.
Ja. Back-ups zijn een betaalde add-on (dagelijks +30% van de planprijs, 7 dagen gehouden; wekelijks +20%, 28 dagen gehouden) en snapshots zijn gratis, die nuttig is voordat lange LLaMA draait. Beide blijven op dezelfde opslag cluster als de server.
Neem binnen 30 dagen na uw eerste aankoop contact op met ondersteuning om een terugbetaling te vragen. GPU-servers worden nog niet verkocht, dus er is geen GPU-order bij betrokken.
GPU capaciteit is beperkt. Vertel ons over uw werklast en we zullen antwoorden met beschikbaarheid en prijzen.