Vi forbereder GPU- tjenere med NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektur) for kjøring av LLM med åpen kildekode, slik som Llama, Mistral og Gemma med Ollama. GPU- tjenere kan ikke bestilles ennå. Kontakt oss for å bli varslet når de er det.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Eksempel på installasjonskommando
Ollama er et lettvekts verktøy for å kjøre modeller i store språk på din egen maskin. På en GPU- tjener kjører modellen på GPU i stedet for CPU, noe som gjør svar mye raskere.
Dra Llama, Mistral, Gemma, Phi, Qwen og mange andre modeller med en kommando.
Passer til 7B til 13B modeller komfortabelt og rundt 30B når de kvantiseres. 70B modeller passer ikke på ett 24 GB kort på vanlig kvantiseringsnivå.
Spør og behold data på tjeneren din, uten API-anrop fra tredjemann.
Ollama utsetter et OpenAI-kompatibelt endepunkt som mange eksisterende klienter kan bruke.
Ollama kan bruke en NVIDIA GPU til å framskynde arbeidet sitt. VPS.org GPU tjenere er ikke tilgjengelige for bestilling ennå. Kontakt oss for å høre når de er det. Ollama er først og fremst en LLM- opplesning / pratearbeidsbelastning. Du vil ha rask tilfeldig tilgang lese fra disk til minne og nok VRAM for modellen pluss kontekstvinduet.
GPU- tjenere kan ikke bestilles ennå. I dag kan du kjøre Ollama på en vanlig CPU- plan, der det virker mye langsommere enn på en GPU: SSH i og kjøre curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-konferansen VRAM-skalaer med modellparametrer: En 7B-modell trenger ca. 5-8 GB VRAM og en 13B-modell på ca. 10-14 GB, mens 70B-modeller trenger flere GPU-er eller tung kvantisering.
GPU- prising vil bli publisert når GPU- tjenere kan bestilles. Kontakt oss hvis du vil høre når det skjer.
Ja. Hver VPS.org- tjener har full rottilgang, så du kan kjøre andre verktøy ved siden av Ollama i tjenerens RAM og lager.
Hver VPS.org tjener kommer med full SSH tilgang, så du kan installere drivere, biblioteker og Ollama som du trenger.
Nei. Ingen tjener leveres med en forhåndsinstallert CUDA kjøretid eller NVIDIA driver, og GPU- tjenere er ikke tilgjengelige for bestilling ennå. Du installerer versjonene Ollama trenger deg selv.
Ja. VPS.org- tjenere er vedvarende virtuelle maskiner, ikke efemerale instanser: Ollama- modeller, oppsett og data blir værende på tjenerens SSD- lager til du sletter dem.
Holde arbeidet med tjenerens SSD for rask tilgang under kjøring av Ollama, og kopier ferdige artefakter (vekter, generasjoner, innbygging) til lagring utenfor VPS.org. Ta bilder av dem og ta sikkerhetskopier blir på samme lagringsklupé.
Du kan oppgradere enhver VPS.org tjener til en større plan fra kontrollpanelet. Om størrelsen endres på nytt og installasjonen av Ollama går over. GPU- tjenere er ikke tilgjengelig ennå.
Ja. Sikkerhetskopier er et betalt tillegg (daglig +30% av planprisen, holdt 7 dager, ukentlig +20%, holdt 28 dager) og skjermbilder er gratis, noe som er nyttig før lenge Ollama kjører. Begge blir på samme lagringsklemmer som tjeneren.
Kontaktstøtte innen 30 dager etter at du kjøpte deg for å be om tilbakebetaling. GPU- tjenere er ikke solgt ennå, så det er ikke tatt med noen GPU- ordre.
GPU- kapasiteten er begrenset. Fortell oss om arbeidsbyrden din og vi svarer med tilgjengelighet og prissetting.