Selvvært Metas Llama- modeller på en NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur). Pakket til 8B med full presisjon og større modeller når de blir kvantisert. GPU- tjenere kan ikke bestilles ennå. Kontakt oss for å bli varslet når de er det.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Eksempel på installasjonskommando
Llama er Metas familie av fritt tilgjengelige storspråksmodeller. Llama kjører på din egen GPU- tjener holder spørsmål og data private.
Kjører 8B-modeller på 24 GB av VRAM. 70B-modeller passer ikke på ett enkelt 24 GB-kort på vanlig kvantiseringsnivå.
Dine spørsmål og data blir værende på tjeneren din, uten API-anrop fra tredjepart.
Bruk GGUF med lama.cpp eller Ollama, eller medfødte vekter av PyTorch.
Server modeller med Ollama eller llama.cpp-tjeneren for et OpenAI-kompatibelt endepunkt.
LLaMA kan bruke en NVIDIA GPU til å gjøre arbeidet raskere. VPS.org GPU- tjenere er ikke tilgjengelig for bestilling ennå. Kontakt oss for å høre når de er det. LLaMA er en generell GPU- akselerert arbeidsbyrde. Se etter at programmet har CUDA- støtte og at driveren/ kjøretiden din oppfyller kravene til arbeidsbelastning for LLaMA.
GPU- tjenere kan ikke bestilles ennå. I dag kan du kjøre LLaMA på en vanlig CPU- plan, der det virker mye langsommere enn på en GPU: SSH i og kjøre curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM- behov for LLaMA avhenger av modell og satsstørrelse. Sjekk prosjektdokumentasjonen for gjeldende tall.
GPU- prising vil bli publisert når GPU- tjenere kan bestilles. Kontakt oss hvis du vil høre når det skjer.
Ja. Hver VPS.org- tjener har full rottilgang, så du kan kjøre andre verktøy ved siden av LLaMA i tjenerens RAM og lager.
Hver VPS.org tjener kommer med full SSH tilgang, så du kan installere drivere, biblioteker og LLaMA som du trenger.
Nei. Ingen tjener leveres med en forhåndsinstallert CUDA kjøretid eller NVIDIA driver, og GPU- tjenere er ikke tilgjengelige for bestilling ennå. Du installerer versjonene LLaMA trenger deg selv.
Ja. VPS.org- tjenere er vedvarende virtuelle maskiner, ikke efemerale instanser: LLaMA- modeller, oppsett og data blir værende på tjenerens SSD- lager til du sletter dem.
Holde arbeidet med tjenerens SSD for rask tilgang under kjøring av LLaMA, og kopier ferdige artefakter (vekter, generasjoner, innbygging) til lagring utenfor VPS.org. Ta bilder av dem og ta sikkerhetskopier blir på samme lagringsklupé.
Du kan oppgradere enhver VPS.org tjener til en større plan fra kontrollpanelet. Om størrelsen endres på nytt og installasjonen av LLaMA går over. GPU- tjenere er ikke tilgjengelig ennå.
Ja. Sikkerhetskopier er et betalt tillegg (daglig +30% av planprisen, holdt 7 dager, ukentlig +20%, holdt 28 dager) og skjermbilder er gratis, noe som er nyttig før lenge LLaMA kjører. Begge blir på samme lagringsklemmer som tjeneren.
Kontaktstøtte innen 30 dager etter at du kjøpte deg for å be om tilbakebetaling. GPU- tjenere er ikke solgt ennå, så det er ikke tatt med noen GPU- ordre.
GPU- kapasiteten er begrenset. Fortell oss om arbeidsbyrden din og vi svarer med tilgjengelighet og prissetting.