Självvärdiga Metas Llama-modeller på en NVIDIA Tesla P40 (24 GB VRAM, Pascal-arkitektur). Passar 8B-modeller med full precision och större modeller när de är kvantiserade. GPU-servrar är ännu inte beställningsbara; kontakta oss för att bli underrättade när de är det.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exempel på installationskommando
Llama är Metas familj av öppet tillgängliga stora språkmodeller. Att köra Llama på din egen GPU-server håller dig privat.
Kör 8B-modeller på 24 GB VRAM. 70B-modeller passar inte på ett enda 24 GB-kort på vanliga kvantiseringsnivåer.
Dina frågor och data stannar på din server, utan tredje part API samtal.
Använd GGUF med lama.cpp eller Ollama, eller infödda PyTorch vikter.
Servera modeller med Ollama eller lama.cpp-servern för ett OpenAI-kompatibelt effektmått.
LLaMA kan använda en NVIDIA GPU för att snabba upp sitt arbete. VPS.org GPU-servrar är inte tillgängliga för beställning ännu. Kontakta oss för att höra när de är. LLaMA är en allmän GPU-accelererad arbetsbelastning. Se till att din programvara har stöd för CUDA och att dina drivrutins-/runtime-versioner matchar arbetsbelastningskraven för LLaMA.
GPU- servrar är inte tillgängliga för beställning ännu. Idag kan du köra LLaMA på en vanlig CPU- plan, där det fungerar mycket långsammare än på en GPU: SSH i och kör curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM-behoven för LLaMA beror på modellen och partistorleken; kontrollera projektdokumentationen för aktuella siffror.
GPU-pris publiceras när GPU-servrar kan beställas. Kontakta oss om du vill höra när det händer.
Ja. Varje VPS.org-server har full åtkomst till root, så att du kan köra andra verktyg tillsammans med LLaMA inom serverns RAM-minne och lagring.
Varje VPS.org-server kommer med full åtkomst till roten SSH, så att du kan installera drivrutiner, bibliotek och LLaMA hur du än behöver.
Nej. Ingen server levereras med en CUDA-runtime eller NVIDIA-drivrutin förinstallerad, och GPU-servrar är inte tillgängliga för beställning ännu. Du installerar versionerna LLaMA behöver dig själv.
Ja. VPS.org-servrar är ihållande virtuella maskiner, inte efemära instanser: LLaMA-modeller, konfigurationer och data stannar på serverns SSD-lagring tills du tar bort dem.
Fortsätt att arbeta data på serverns SSD för snabb åtkomst under LLaMA körningar, och kopiera färdiga artefakter (vikter, generationer, inbäddningar) för att lagra utanför VPS.org; ögonblicksbilder och säkerhetskopior stannar på samma lagringskluster.
Du kan uppgradera vilken VPS.org-server som helst till en större plan från kontrollpanelen. Omstorleken startar om den och installationen av LLaMA överförs. GPU-servrar är ännu inte tillgängliga.
Ja. Säkerhetskopiering är ett betalt tillägg (dagligen +30% av planens pris, som hålls 7 dagar; veckovis +20%, som hålls 28 dagar) och ögonblicksbilder är gratis, vilket är användbart innan långa LLaMA körs. Båda stannar på samma lagringskluster som servern.
Kontakta supporten inom 30 dagar efter ditt första köp för att begära återbetalning. GPU-servrar säljs inte ännu, så ingen GPU-beställning är inblandad.
GPU-kapaciteten är begränsad. Berätta om din arbetsbelastning och vi svarar med tillgänglighet och prissättning.