Pripremamo GPU poslužitelje s NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura) za pokretanje otvorenog LLM-a kao što su Llama, Mistral i Gemma s Ollama. GPU poslužitelji još nisu u redu; kontaktirajte nas da budemo obaviješteni kada su.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Naredba
Ollama je lagani alat za pokretanje velikih jezičkih modela na vlastitom stroju. Na GPU poslužitelju model radi na GPU umjesto CPU, što čini odgovore mnogo brže.
Povucite Llamu, Mistral, Gemmu, Phi, Qwen i mnoge druge modele s jednom zapovjednicom.
Uklapa modele 7B prema 13B udobno i oko 30B modela kada je kvantizirano. 70B modeli ne uklapaju se na jednu 24 GB karticu na zajedničkim kvantizacijskim razinama.
Pozivi i podaci ostaju na vašem poslužitelju, bez poziva treće strane API.
Ollama otkriva ishod koji je kompatibilan s OpenAI-om koji mnogi postojeći klijenti mogu koristiti.
Ollama može koristiti NVIDIA GPU za ubrzanje rada. VPS.org GPU serveri još nisu dostupni za narudžba; kontaktirajte nas kako bi čuli kada su. Ollama je prije svega LLM-inference / chat. Želite brzo nasumično čitanje s diska na memoriju i dovoljno VRAM za model plus prozor konteksta.
GPU poslužitelji još nisu dostupni za naručivanje. Danas možete pokrenuti Ollama na redoviti CPU plan, gdje radi daleko sporije nego na GPU: SSH in i pokrenuti curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-ov zaključak VRAM-a s modelskim parametrima: model 7B zahtijeva otprilike 5 do 8 GB VRAM-a i 13B modela otprilike 10 do 14 GB-a, dok modeli 70B-klase trebaju nekoliko GPU-ova ili teška kvantizacija.
GPU cijena će biti objavljena kada GPU poslužitelji mogu biti naručiti. Kontaktirajte nas ako želite čuti kada se to dogodi.
Da. Svaki VPS.org poslužitelj dolazi s punim pristupom rootu, tako da možete pokrenuti druge alate uz Ollama unutar RAM-a i pohrane poslužitelja.
Svaki VPS.org poslužitelj dolazi s punom root SSH pristup, tako da možete instalirati vozače, biblioteke i Ollama kako god vam je potrebno.
Ne. Nijedan poslužitelj ne dolazi s CUDA runtime ili NVIDIA drajver unaprijed instaliran, a GPU poslužitelji još nisu dostupni za naručivanje. Instalirate verzije Ollama treba sebe.
Da. VPS.org poslužitelji su stalni virtualni strojevi, a ne efemeralni primjerci: Ollama modeli, konfiguracije i podaci ostaju na pohrani SSD poslužitelja dok ih ne izbrišete.
Nastavite raditi na SSD poslužitelja za brz pristup tijekom Ollama pokrenutih, i kopirati završene artefakte (teže, generacije, ugrađivanja) u pohranu izvan VPS.org; snimke i sigurnosne kopije ostaju na istom pohranjivaču klastera.
Možete nadograditi svaki VPS.org poslužitelj na veći plan iz kontrolnog panela; reorganizacija ga ponovno pokreće i vaš Ollama install nosi preko. GPU poslužitelji još nisu dostupni.
Da. Rezervne kopije su plaćeni dodatak (dnevno +30% cijene plana, čuvan 7 dana; tjedan +20%, čuvan 28 dana) i snimke su besplatne, što je korisno prije dugog Ollama trčanje. Oba ostaju na istom pohranjivaču klastera kao i poslužitelj.
Kontaktna podrška u roku od 30 dana od vaše prve kupnje zatražiti povrat novca. GPU poslužitelji još nisu prodani, tako da nema GPU narudžbe.
GPU kapacitet je ograničen. Recite nam o svom radnom vremenu i odgovorit ćemo s raspoloživošću i cijenama.