Samovoditeljski modeli Meta je Llama na NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura). Natančno in širše modele 8B. GPU strežniki še niso urejeni; kontaktirajte nas, da se obvesti, ko so.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Primer namestitve ukaza
Llama je družina Meta odprto razpoložljivih velikih jezikovnih modelov. Tekmovanje Llama na vašem GPU strežniku ohranja napotke in podatke zasebnega.
Pogosto je 8B modelov na 24 GB modelov VRAM. 70B modelov ne ustreza niti enem 24 GB kartici na skupnih količinskih stopnjah.
Vaši poizvedbe in podatki ostanejo na vašem strežniku, brez klicev API tretjih strank.
Uporabite GGUF z lama.cpp ali Ollamo ali s PyTorchovimi uteži.
Postrezi modele z Ollamo ali strežnikom lama.cpp za združljiv z OpenAI končni dogodek.
LLaMA lahko uporabite NVIDIA GPU za pospeševanje svojega dela. VPS.org GPU strežniki še niso na voljo za naročilo; kontaktirajte nas, da slišimo, kdaj so. LLaMA je splošno GPU-prispelo delo. Prepričajte se, da ima vaša programska oprema podporo GUDA in da vaša voznik / različica runtime ustrezajo zahtevam za delovno obremenitev za LLaMA.
Strežniki GPU še niso na voljo za naročilo. Danes lahko poženite LLaMA na običajnem načrtu CPU, kjer deluje veliko počasneje kot pri GPU: SSH in poženite curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM potrebe za LLaMA so odvisne od modela in velikosti serije; preverite projektno dokumentacijo za trenutne številke.
GPU cenovno obdobje bo objavljeno, ko bo GPU strežniki lahko naročili. Pokličite nas, če želite slišati, kdaj se to zgodi.
Da. Vsak strežnik VPS.org je s polnim dostopom do korenine, tako da lahko poganjate druga orodja poleg LLaMA v okviru RAM in shranjevanja strežnika.
Vsak VPS.org strežnik prihaja s polnim root SSH dostopom, tako da lahko namestite voznike, knjižnice in LLaMA, kolikor potrebujete.
Ne. Strežnik ne prihaja z CUDA runtime ali NVIDIA gonilnik vnaprej nameščen, in GPU strežniki še niso na voljo za naročilo. Namestite različice LLaMA potrebujete sami.
Da. strežniki VPS.org so vztrajni virtualni stroji, ne efemeralni primeri: LLaMA modeli, nastavitve in podatki ostanejo v strežniku SSD shranjevanje, dokler jih ne izbrišete.
Nadaljujte z delom podatkov o strežniku SSD za hiter dostop med tekom LLaMA in kopirajte končne artefakte (teži, generacije, vgradnje) v shranjevanje zunaj VPS.org; posnetki in kopije ostanejo na istem skladišče grozde.
Nadogradite lahko kateri koli strežnik VPS.org na večji načrt iz kontrolnega panela; znova ga zaženite z velikostjo in prenesete vaš instalator LLaMA. Strežniki GPU še niso na voljo.
Ja. Rezervne kopije so plačano dodatno (dnevno +30% cene načrta, ki je obdržana 7 dni; teden +20%, obdržana 28 dni) in posnetki so brezplačni, kar je koristno pred dolgim LLaMA. Oba ostaneta na istem skladišče klaster kot strežnik.
Kontaktna podpora v 30 dneh od prvega nakupa, da zahtevate povračila. GPU strežniki še niso prodani, zato ni vključena nobena naročila GPU.
GPU zmogljivost je omejena. Povejte nam o svoji delovni obremenitvi in odgovorili bomo z razpoložljivostjo in cenami.