Vi forbereder GPU-servere med en NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur) til at køre open source LLM'er såsom Llama, Mistral og Gemma med Ollama. GPU-servere er ikke bestilles endnu; kontakt os, der skal underrettes, når de er.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Eksempel på installationskommando
Ollama er et let værktøj til at køre store sprogmodeller på din egen maskine. På en GPU-server kører modellen på GPU i stedet for CPU, hvilket gør svar meget hurtigere.
Træk Llama, Mistral, Gemma, Phi, Qwen og mange andre modeller med én kommando.
Passer 7B til 13B modeller komfortabelt og omkring 30B modeller, når kvantiseret. 70B modeller ikke passer på et 24 GB kort på fælles kvantiseringsniveauer.
Spørger og data forbliver på din server, uden tredjeparts API opkald.
Ollama udsætter en OpenAI-kompatibel endpoint, som mange eksisterende klienter kan bruge.
Ollama kan bruge en NVIDIA GPU til at fremskynde sit arbejde. VPS.org GPU-servere er ikke tilgængelige til bestilling endnu; kontakt os for at høre, hvornår de er. Ollama er primært en LLM-inference / chat arbejdsbyrde. Du vil ønsker hurtig tilfældig adgang læser fra disk til hukommelse og nok VRAM til modellen plus kontekst vindue.
GPU-servere er ikke tilgængelige for bestilling endnu. I dag kan du køre Ollama på en almindelig CPU-plan, hvor det virker langt langsommere end på en GPU: SSH i og køre curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inferens VRAM skalaer med modelparametre: En 7B model har brug for ca. 5 til 8 GB VRAM og en 13B model ca. 10 til 14 GB, mens 70B-klasse modeller har brug for flere GPU'er eller tunge kvantisering.
GPU priser vil blive offentliggjort, når GPU-servere kan bestilles. Kontakt os, hvis du ønsker at høre, når det sker.
Ja. Hver VPS.org server leveres med fuld root adgang, så du kan køre andre værktøjer sammen Ollama i serverens RAM og opbevaring.
Hver VPS.org server leveres med fuld rod SSH adgang, så du kan installere drivere, biblioteker og Ollama dog du har brug for.
Nej. Ingen server leveres med en CUDA runtime eller NVIDIA driver forudinstalleret, og GPU-servere er ikke tilgængelige til at bestille endnu. Du installerer versionerne Ollama har brug for dig selv.
Ja. VPS.org servere er vedvarende virtuelle maskiner, ikke efemerale tilfælde: Ollama modeller, configs og data forbliver på serverens SSD-lagring, indtil du sletter dem.
Hold arbejder data på serverens SSD for hurtig adgang under Ollama kører, og kopier færdige artefakter (vægte, generationer, indlejringer) til opbevaring uden for VPS.org; snapshots og backups forbliver på den samme lagerklynge.
Du kan opgradere enhver VPS.org server til en større plan fra kontrolpanelet; resize genstarter den og din Ollama installation bærer over. GPU-servere er ikke tilgængelige endnu.
Ja. Backups er en betalt tilføjelse (daglig +30% af planens pris, holdt 7 dage; ugentligt +20%, holdt 28 dage) og snapshots er gratis, hvilket er nyttigt, før længe Ollama kører. Begge bo på samme lagerklynge som serveren.
Kontakt support inden for 30 dage efter dit første køb for at anmode om en tilbagebetaling. GPU-servere er ikke solgt endnu, så der er ingen GPU-ordre involveret.
GPU kapacitet er begrænset. Fortæl os om din arbejdsbyrde, og vi vil svare med tilgængelighed og prissætning.