Samodomotorski modeli Meta je Llama na NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura). Suite do 8B modela s punom preciznošću i većim modelima kada su kvantizirani. GPU poslužitelji još nisu u redu; kontaktirajte nas da budemo obavješteni kada su.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Naredba
Llama je Meta's obitelj otvoreno dostupnih velikih jezičkih modela. Pokretanje Llama na vlastitom GPU poslužitelju drži upit i podatke privatno.
Pokreće 8B modela na 24 GB VRAM modela 70B modela ne uklapa se na jednu 24 GB karticu na zajedničkim kvantizacijskim razinama.
Vaši upiti i podaci ostaju na vašem poslužitelju, bez poziva treće strane API.
Koristite GGUF s lama.cpp ili Ollama, ili nastao PyTorch težine.
Servirajte modele s Ollamom ili lama.cpp poslužitelja za ishod koji odgovara OpenAI-u.
LLaMA može koristiti NVIDIA GPU za ubrzanje rada. VPS.org GPU serveri još nisu dostupni za naručivanje; kontaktirajte nas da čujemo kada su. LLaMA je opći GPU-prispjeli GPU-a. Provjerite da li vaš softver ima podršku GUDA i da vaš vozač / verzija runtime odgovara zahtjevima za radni rad za LLaMA.
GPU poslužitelji još nisu dostupni za naručivanje. Danas možete pokrenuti LLaMA na redoviti CPU plan, gdje radi daleko sporije nego na GPU: SSH in i pokrenuti curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM potrebe za LLaMA ovise o modelu i veličini serije; provjerite projektnu dokumentaciju za trenutne brojke.
GPU cijena će biti objavljena kada GPU poslužitelji mogu biti naručiti. Kontaktirajte nas ako želite čuti kada se to dogodi.
Da. Svaki VPS.org poslužitelj dolazi s punim pristupom rootu, tako da možete pokrenuti druge alate uz LLaMA unutar RAM-a i pohrane poslužitelja.
Svaki VPS.org poslužitelj dolazi s punom root SSH pristup, tako da možete instalirati vozače, biblioteke i LLaMA kako god vam je potrebno.
Ne. Nijedan poslužitelj ne dolazi s CUDA runtime ili NVIDIA drajver unaprijed instaliran, a GPU poslužitelji još nisu dostupni za naručivanje. Instalirate verzije LLaMA treba sebe.
Da. VPS.org poslužitelji su stalni virtualni strojevi, a ne efemeralni primjerci: LLaMA modeli, konfiguracije i podaci ostaju na pohrani SSD poslužitelja dok ih ne izbrišete.
Nastavite raditi na SSD poslužitelja za brz pristup tijekom LLaMA pokrenutih, i kopirati završene artefakte (teže, generacije, ugrađivanja) u pohranu izvan VPS.org; snimke i sigurnosne kopije ostaju na istom pohranjivaču klastera.
Možete nadograditi svaki VPS.org poslužitelj na veći plan iz kontrolnog panela; reorganizacija ga ponovno pokreće i vaš LLaMA install nosi preko. GPU poslužitelji još nisu dostupni.
Da. Rezervne kopije su plaćeni dodatak (dnevno +30% cijene plana, čuvan 7 dana; tjedan +20%, čuvan 28 dana) i snimke su besplatne, što je korisno prije dugog LLaMA trčanje. Oba ostaju na istom pohranjivaču klastera kao i poslužitelj.
Kontaktna podrška u roku od 30 dana od vaše prve kupnje zatražiti povrat novca. GPU poslužitelji još nisu prodani, tako da nema GPU narudžbe.
GPU kapacitet je ograničen. Recite nam o svom radnom vremenu i odgovorit ćemo s raspoloživošću i cijenama.