We bereiden GPU-servers voor met een NVIDIA Tesla P40 (24 GB VRAM, Pascal architectuur) voor het uitvoeren van open-source LLM's zoals Llama, Mistral en Gemma met Ollama. GPU-servers zijn nog niet te bestellen; neem contact met ons op om op de hoogte te worden gesteld wanneer ze dat zijn.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Voorbeeld installatiecommando
Ollama is een lichtgewicht hulpmiddel voor het uitvoeren van grote taalmodellen op uw eigen machine. Op een GPU-server draait het model op de GPU in plaats van de CPU, waardoor reacties veel sneller.
Trek aan Llama, Mistral, Gemma, Phi, Qwen en vele andere modellen met één commando.
Past op 7B tot 13B modellen comfortabel en rond 30B modellen wanneer gequantiseerd. 70B modellen passen niet op één 24 GB kaart bij gemeenschappelijke quantiseringsniveaus.
Waarschuwingen en gegevens blijven op uw server, zonder API-oproepen van derden.
Ollama stelt een OpenAI-compatibel eindpunt bloot dat veel bestaande klanten kunnen gebruiken.
Ollama kan een NVIDIA GPU gebruiken om zijn werk te versnellen. VPS.org GPU servers zijn nog niet beschikbaar om te bestellen; neem contact met ons op om te horen wanneer ze zijn. Ollama is voornamelijk een LLM-invloed / chat werklast. U wilt snel willekeurige toegang lezen van schijf naar geheugen en genoeg VRAM voor het model plus context venster.
GPU-servers zijn nog niet beschikbaar om te bestellen. Vandaag kunt u Ollama uitvoeren op een regelmatig CPU-plan, waar het veel langzamer werkt dan op een GPU: SSH in en draaien curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-inferentie VRAM-schalen met modelparameters: een 7B-model heeft ongeveer 5 tot 8 GB VRAM nodig en een 13B-model ongeveer 10 tot 14 GB, terwijl 70B-klassemodellen meerdere GPU's of zware quantisering nodig hebben.
GPU-prijzen worden gepubliceerd wanneer GPU-servers kunnen worden besteld. Neem contact met ons op als u wilt horen wanneer dat gebeurt.
Ja. Elke VPS.org server wordt geleverd met volledige root toegang, zodat u andere tools kunt draaien naast Ollama in het RAM-geheugen en opslag van de server.
Elke VPS.org server wordt geleverd met volledige root SSH toegang, zodat u kunt drivers, bibliotheken en Ollama te installeren, zoals u nodig hebt.
Nee. Er wordt geen server meegeleverd met een CUDA runtime of NVIDIA driver vooraf geïnstalleerd, en GPU servers zijn nog niet beschikbaar om te bestellen. U installeert de versies Ollama heeft u zelf nodig.
VPS.org servers zijn aanhoudende virtuele machines, niet efemerale instanties: Ollama modellen, configuraties en gegevens blijven op de SSD-opslag van de server totdat u ze verwijdert.
Blijf werken aan gegevens over de SSD van de server voor snelle toegang tijdens Ollama-runs, en kopieer voltooide artefacten (gewichten, generaties, inbeddingen) naar opslag buiten VPS.org; snapshots en back-ups blijven op hetzelfde opslagcluster.
U kunt elke VPS.org-server upgraden naar een groter plan vanuit het bedieningspaneel; de grootte van de server herstart het en uw Ollama installatie draagt over. GPU-servers zijn nog niet beschikbaar.
Ja. Back-ups zijn een betaalde add-on (dagelijks +30% van de planprijs, 7 dagen gehouden; wekelijks +20%, 28 dagen gehouden) en snapshots zijn gratis, die nuttig is voordat lange Ollama draait. Beide blijven op dezelfde opslag cluster als de server.
Neem binnen 30 dagen na uw eerste aankoop contact op met ondersteuning om een terugbetaling te vragen. GPU-servers worden nog niet verkocht, dus er is geen GPU-order bij betrokken.
GPU capaciteit is beperkt. Vertel ons over uw werklast en we zullen antwoorden met beschikbaarheid en prijzen.