Vi förbereder GPU-servrar med en NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur) för att köra LLM med öppen källkod som Llama, Mistral och Gemma med Ollama. GPU-servrar är ännu inte beställningsbara, kontakta oss för att få besked när de är det.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exempel på installationskommando
Ollama är ett lätt verktyg för att köra stora språkmodeller på din egen maskin. På en GPU-server körs modellen på GPU istället för CPU, vilket gör svaren mycket snabbare.
Dra Llama, Mistral, Gemma, Phi, Qwen och många andra modeller med en kommando.
Passar 7B till 13B modeller bekvämt och runt 30B modeller i kvantifiering. 70B modeller passar inte på ett 24 GB kort på vanliga kvantiseringsnivåer.
Snabba och data stannar på din server, utan tredje part API samtal.
Ollama exponerar ett OpenAI-kompatibelt effektmått som många befintliga kunder kan använda.
Ollama kan använda en NVIDIA GPU för att snabba upp sitt arbete. VPS.org GPU-servrar är inte tillgängliga för beställning ännu. Kontakta oss för att höra när de är. Ollama är främst en LLM-inference / chatt arbetsbelastning. Du vill ha snabba slumpmässiga läsningar från disk till minne och tillräckligt med VRAM för modellen plus sammanhangsfönstret.
GPU- servrar är inte tillgängliga för beställning ännu. Idag kan du köra Ollama på en vanlig CPU- plan, där det fungerar mycket långsammare än på en GPU: SSH i och kör curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-slutsats VRAM-skalor med modellparametrar: en 7B-modell behöver ungefär 5 till 8 GB VRAM och en 13B-modell ungefär 10 till 14 GB, medan 70B-klassmodeller behöver flera GPU-enheter eller tung kvantisering.
GPU-pris publiceras när GPU-servrar kan beställas. Kontakta oss om du vill höra när det händer.
Ja. Varje VPS.org-server har full åtkomst till root, så att du kan köra andra verktyg tillsammans med Ollama inom serverns RAM-minne och lagring.
Varje VPS.org-server kommer med full åtkomst till roten SSH, så att du kan installera drivrutiner, bibliotek och Ollama hur du än behöver.
Nej. Ingen server levereras med en CUDA-runtime eller NVIDIA-drivrutin förinstallerad, och GPU-servrar är inte tillgängliga för beställning ännu. Du installerar versionerna Ollama behöver dig själv.
Ja. VPS.org-servrar är ihållande virtuella maskiner, inte efemära instanser: Ollama-modeller, konfigurationer och data stannar på serverns SSD-lagring tills du tar bort dem.
Fortsätt att arbeta data på serverns SSD för snabb åtkomst under Ollama körningar, och kopiera färdiga artefakter (vikter, generationer, inbäddningar) för att lagra utanför VPS.org; ögonblicksbilder och säkerhetskopior stannar på samma lagringskluster.
Du kan uppgradera vilken VPS.org-server som helst till en större plan från kontrollpanelen. Omstorleken startar om den och installationen av Ollama överförs. GPU-servrar är ännu inte tillgängliga.
Ja. Säkerhetskopiering är ett betalt tillägg (dagligen +30% av planens pris, som hålls 7 dagar; veckovis +20%, som hålls 28 dagar) och ögonblicksbilder är gratis, vilket är användbart innan långa Ollama körs. Båda stannar på samma lagringskluster som servern.
Kontakta supporten inom 30 dagar efter ditt första köp för att begära återbetalning. GPU-servrar säljs inte ännu, så ingen GPU-beställning är inblandad.
GPU-kapaciteten är begränsad. Berätta om din arbetsbelastning och vi svarar med tillgänglighet och prissättning.