Pripremamo GPU servere sa NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektura) za pokretanje LLM-ova otvorenog koda kao što su Llama, Mistral i Gemma sa Ollama. GPU serveri još nisu naručivi; kontaktirajte nas da vas obavijestimo kad budu.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Primjer naredbe za instaliranje
Ollama je lagan alat za pokretanje velikih jezičkih modela na vlastitoj mašini. Na GPU serveru model se pokreće na GPU umjesto CPU, što čini odgovore mnogo bržima.
Povlačenje Llama, Mistral, Gemma, Phi, Qwen i mnoge druge modele sa jednom naredbom.
Udobno se uklapa u modele od 7B do 13B i oko 30B modela kada je kvantiziran.70B modeli ne pristaju na jednu 24 GB karticu na uobičajenim kvantizacijskim razinama.
Upitnici i podaci ostaju na vašem serveru, bez API poziva treće strane.
Ollama izlaže OpenAI-kompatibilnu krajnju tačku koju mnogi postojeći klijenti mogu koristiti.
Ollama može koristiti NVIDIA GPU da ubrza svoj rad. VPS.org GPU serveri još nisu dostupni za narudžbu; kontaktirajte nas da saznate kada će biti dostupni. Ollama je primarno LLM-inference / chat workload. Željet ćete brze slučajne pristupe čitanju sa diska u memoriju i dovoljno VRAM-a za model plus kontekstni prozor.
GPU serveri još nisu dostupni za narudžbu. Danas možete pokrenuti Ollama na redovnom CPU planu, gdje radi mnogo sporije nego na GPU: SSH u i pokrenite curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inference VRAM skalira sa parametrima modela: 7B model treba otprilike 5 do 8 GB VRAM-a i 13B model otprilike 10 do 14 GB, dok 70B-klasa modela treba nekoliko GPU-a ili tešku kvantizaciju.
Cijene GPU-a će biti objavljene kada se GPU serveri mogu naručiti. Kontaktirajte nas ako želite čuti kada se to dogodi.
Svaki VPS.org server ima potpuni root pristup, tako da možeš pokrenuti druge alate pored Ollama u RAM-u servera i pohrani.
Svaki VPS.org server dolazi sa punim root SSH pristupom, tako da možete instalirati drivere, biblioteke i Ollama kako god vam treba.
Ne. Nijedan server ne dolazi s CUDA runtimeom ili NVIDIA driverom unaprijed instaliranim, a GPU serveri još nisu dostupni za narudžbu. Sami instalirajte verzije koje Ollama treba.
Da. VPS.org serveri su trajne virtualne mašine, a ne efemerne instance: Ollama modeli, konfiguracije i podaci ostaju na SSD pohrani servera dok ih ne izbrišete.
Zadržavanje radnih podataka na SSD-u servera za brz pristup tokom Ollama pokretanja, i kopiranje gotovih artefakata (težina, generacije, ugradnje) u pohranu izvan VPS.org; snimke i sigurnosne kopije ostaju na istom clusteru za pohranu.
Možete nadograditi bilo koji VPS.org server na veći plan iz kontrolne ploče; promjena veličine ga ponovo pokreće i vaša Ollama instalacija se prenosi. GPU serveri još nisu dostupni.
Da. Sigurnosne kopije su plaćen dodatak (dnevno +30% od cijene plana, čuva se 7 dana; sedmično +20%, čuva se 28 dana) i snimke su besplatne, što je korisno prije dugih Ollama pokretanja. Oba ostaju na istom klasteru pohrane kao i server.
Kontaktirajte podršku u roku od 30 dana od prve kupnje da biste zatražili povrat novca. GPU serveri još nisu prodani, tako da nema narudžbe GPU-a.
Kapacitet grafičkog procesora je ograničen. Recite nam o svom opterećenju i odgovorit ćemo s dostupnošću i cijenama.