Pripravljamo GPU strežnike z NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura) za upravljanje odprtega LLMs, kot so Llama, Mistral in Gemma z Ollamo. GPU strežniki še niso urejeni; kontaktirajte nas, da se obvestijo, ko so.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Primer namestitve ukaza
Ollama je lahka orodje za upravljanje velikih jezikovnih modelov na svojem stroju. Na GPU strežniku model teče na GPU namesto CPU, ki naredi odgovore veliko hitrejši.
Potegni Llamo, Mistral, Gemmo, Phi, Qwen in še mnoge druge modele z enim ukazom.
Prilagodi modele 7B do 13B udobno in okrog 30B modelov, ko so kvantificirani. 70B modeli ne ustrezajo eni 24 GB kartici na skupnih količinskih stopnjah.
Pozivi in podatki ostanejo na vašem strežniku, brez klicev API tretjih strani.
Ollama razkriva končni dogodek, ki je združljiv z OpenAI, ki ga lahko uporabi veliko obstoječih strank.
Ollama lahko uporabite NVIDIA GPU za pospeševanje svojega dela. VPS.org GPU strežniki še niso na voljo za naročilo; kontaktirajte nas, da slišimo, kdaj so. Ollama je predvsem LLM-inference / klepetalna obremenitev. Želite hitre naključne branje z diska na spomin in dovolj VRAM za model plus kontekstno okno.
Strežniki GPU še niso na voljo za naročilo. Danes lahko poženite Ollama na običajnem načrtu CPU, kjer deluje veliko počasneje kot pri GPU: SSH in poženite curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-inference VRAM-a s parametri modela: model 7B potrebuje približno 5 do 8 GB VRAM-a in model 13B-a približno 10 do 14 GB-a, medtem ko modeli 70B-razreda potrebujejo več GPU-jev ali težka kvantificiranja.
GPU cenovno obdobje bo objavljeno, ko bo GPU strežniki lahko naročili. Pokličite nas, če želite slišati, kdaj se to zgodi.
Da. Vsak strežnik VPS.org je s polnim dostopom do korenine, tako da lahko poganjate druga orodja poleg Ollama v okviru RAM in shranjevanja strežnika.
Vsak VPS.org strežnik prihaja s polnim root SSH dostopom, tako da lahko namestite voznike, knjižnice in Ollama, kolikor potrebujete.
Ne. Strežnik ne prihaja z CUDA runtime ali NVIDIA gonilnik vnaprej nameščen, in GPU strežniki še niso na voljo za naročilo. Namestite različice Ollama potrebujete sami.
Da. strežniki VPS.org so vztrajni virtualni stroji, ne efemeralni primeri: Ollama modeli, nastavitve in podatki ostanejo v strežniku SSD shranjevanje, dokler jih ne izbrišete.
Nadaljujte z delom podatkov o strežniku SSD za hiter dostop med tekom Ollama in kopirajte končne artefakte (teži, generacije, vgradnje) v shranjevanje zunaj VPS.org; posnetki in kopije ostanejo na istem skladišče grozde.
Nadogradite lahko kateri koli strežnik VPS.org na večji načrt iz kontrolnega panela; znova ga zaženite z velikostjo in prenesete vaš instalator Ollama. Strežniki GPU še niso na voljo.
Ja. Rezervne kopije so plačano dodatno (dnevno +30% cene načrta, ki je obdržana 7 dni; teden +20%, obdržana 28 dni) in posnetki so brezplačni, kar je koristno pred dolgim Ollama. Oba ostaneta na istem skladišče klaster kot strežnik.
Kontaktna podpora v 30 dneh od prvega nakupa, da zahtevate povračila. GPU strežniki še niso prodani, zato ni vključena nobena naročila GPU.
GPU zmogljivost je omejena. Povejte nam o svoji delovni obremenitvi in odgovorili bomo z razpoložljivostjo in cenami.