Selvvært Metas Llama modeller på en NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur). Pascal passer til 8B modeller på fuld præcision og større modeller, når kvantiseret. GPU-servere er ikke bestilles endnu; kontakt os, der skal underrettes, når de er.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Eksempel på installationskommando
Llama er Meta familie af åbent tilgængelige store sprogmodeller. Kørsel Llama på din egen GPU-server holder prompter og data private.
Kører 8B modeller på 24 GB VRAM. 70B modeller passer ikke på et enkelt 24 GB kort på fælles kvantiseringsniveauer.
Dine prompter og data forbliver på din server, uden tredjeparts API opkald.
Brug GPUF med lama.cpp eller Ollama, eller indfødte PyTorch vægte.
Server modeller med Ollama eller lama.cpp server for en OpenAI-kompatibel endpoint.
LLaMA kan bruge en NVIDIA GPU til at fremskynde sit arbejde. VPS.org GPU-servere er ikke tilgængelige til bestilling endnu; kontakt os for at høre, når de er. LLaMA er en generel GPU-accelereret arbejdsbyrde. Sørg for, at din software har CUDA-understøttelse, og at din driver / runtime versioner matcher arbejdsbyrden krav til LLaMA.
GPU-servere er ikke tilgængelige for bestilling endnu. I dag kan du køre LLaMA på en almindelig CPU-plan, hvor det virker langt langsommere end på en GPU: SSH i og køre curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM-behov for LLaMA afhænger af model og batchstørrelse; tjek projektdokumentationen for aktuelle tal.
GPU priser vil blive offentliggjort, når GPU-servere kan bestilles. Kontakt os, hvis du ønsker at høre, når det sker.
Ja. Hver VPS.org server leveres med fuld root adgang, så du kan køre andre værktøjer sammen LLaMA i serverens RAM og opbevaring.
Hver VPS.org server leveres med fuld rod SSH adgang, så du kan installere drivere, biblioteker og LLaMA dog du har brug for.
Nej. Ingen server leveres med en CUDA runtime eller NVIDIA driver forudinstalleret, og GPU-servere er ikke tilgængelige til at bestille endnu. Du installerer versionerne LLaMA har brug for dig selv.
Ja. VPS.org servere er vedvarende virtuelle maskiner, ikke efemerale tilfælde: LLaMA modeller, configs og data forbliver på serverens SSD-lagring, indtil du sletter dem.
Hold arbejder data på serverens SSD for hurtig adgang under LLaMA kører, og kopier færdige artefakter (vægte, generationer, indlejringer) til opbevaring uden for VPS.org; snapshots og backups forbliver på den samme lagerklynge.
Du kan opgradere enhver VPS.org server til en større plan fra kontrolpanelet; resize genstarter den og din LLaMA installation bærer over. GPU-servere er ikke tilgængelige endnu.
Ja. Backups er en betalt tilføjelse (daglig +30% af planens pris, holdt 7 dage; ugentligt +20%, holdt 28 dage) og snapshots er gratis, hvilket er nyttigt, før længe LLaMA kører. Begge bo på samme lagerklynge som serveren.
Kontakt support inden for 30 dage efter dit første køb for at anmode om en tilbagebetaling. GPU-servere er ikke solgt endnu, så der er ingen GPU-ordre involveret.
GPU kapacitet er begrænset. Fortæl os om din arbejdsbyrde, og vi vil svare med tilgængelighed og prissætning.