Self-host Meta's Llama models on a NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Suitable to 8B models at full precision and larger models when quantized. GPU servers are not orderable yet; contact us to be notified when they are.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Primjer naredbe za instaliranje
Llama je Meta-ina porodica otvoreno dostupnih velikih modela jezika. Pokretanje Llame na vašem vlastitom GPU serveru čuva prompte i podatke privatnim.
8B modeli rade na 24 GB VRAM-a, dok 70B modeli ne mogu raditi na jednoj 24 GB kartici na uobičajenim kvantizacijskim razinama.
Vaši upiti i podaci ostaju na vašem serveru, bez API poziva treće strane.
Koristite GGUF sa llama.cpp ili Ollama, ili native PyTorch težine.
Služi za modeliranje sa Ollama ili llama.cpp serverom za OpenAI-kompatibilnu krajnju tačku.
LLaMA može koristiti NVIDIA GPU da ubrza svoj rad. VPS.org GPU serveri još nisu dostupni za narudžbu; kontaktirajte nas da saznate kada će biti dostupni. LLaMA je generalni GPU-accelerated workload. Provjerite da li vaš softver podržava CUDA i da li vaš driver / runtime verzije odgovaraju zahtjevima za workload za LLaMA.
GPU serveri još nisu dostupni za narudžbu. Danas možete pokrenuti LLaMA na redovnom CPU planu, gdje radi mnogo sporije nego na GPU: SSH u i pokrenite curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM potrebe za LLaMA ovise o modelu i veličini serije; pogledajte projektnu dokumentaciju za trenutne brojeve.
Cijene GPU-a će biti objavljene kada se GPU serveri mogu naručiti. Kontaktirajte nas ako želite čuti kada se to dogodi.
Svaki VPS.org server ima potpuni root pristup, tako da možeš pokrenuti druge alate pored LLaMA u RAM-u servera i pohrani.
Svaki VPS.org server dolazi sa punim root SSH pristupom, tako da možete instalirati drivere, biblioteke i LLaMA kako god vam treba.
Ne. Nijedan server ne dolazi s CUDA runtimeom ili NVIDIA driverom unaprijed instaliranim, a GPU serveri još nisu dostupni za narudžbu. Sami instalirajte verzije koje LLaMA treba.
Da. VPS.org serveri su trajne virtualne mašine, a ne efemerne instance: LLaMA modeli, konfiguracije i podaci ostaju na SSD pohrani servera dok ih ne izbrišete.
Zadržavanje radnih podataka na SSD-u servera za brz pristup tokom LLaMA pokretanja, i kopiranje gotovih artefakata (težina, generacije, ugradnje) u pohranu izvan VPS.org; snimke i sigurnosne kopije ostaju na istom clusteru za pohranu.
Možete nadograditi bilo koji VPS.org server na veći plan iz kontrolne ploče; promjena veličine ga ponovo pokreće i vaša LLaMA instalacija se prenosi. GPU serveri još nisu dostupni.
Da. Sigurnosne kopije su plaćen dodatak (dnevno +30% od cijene plana, čuva se 7 dana; sedmično +20%, čuva se 28 dana) i snimke su besplatne, što je korisno prije dugih LLaMA pokretanja. Oba ostaju na istom klasteru pohrane kao i server.
Kontaktirajte podršku u roku od 30 dana od prve kupnje da biste zatražili povrat novca. GPU serveri još nisu prodani, tako da nema narudžbe GPU-a.
Kapacitet grafičkog procesora je ograničen. Recite nam o svom opterećenju i odgovorit ćemo s dostupnošću i cijenama.