Připravujeme GPU servery s NVIDIA Tesla P40 (24 GB VRAM, Pascal architektura) pro spuštění open-source LLM, jako jsou Llama, Mistral a Gemma s Ollamou. GPU servery nejsou zatím objednatelné; kontaktujte nás, abychom byli informováni, když jsou.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Příklad instalovat příkaz
Ollama je lehký nástroj pro spuštění velkých jazykových modelů na vašem vlastním stroji. Na GPU serveru běží model na GPU místo procesoru, což dělá reakce mnohem rychlejší.
Vytáhněte Llamu, Mistral, Gemmu, Phi, Qwen a mnoho dalších modelů s jedním příkazem.
Sedí 7B až 13B modely pohodlně a kolem 30B modely, když kvantizován. 70B modely se nevejdou na jednu 24 GB karty na společné kvantizační úrovně.
Prompty a data zůstanou na vašem serveru, bez volání API třetích stran.
Ollama odhalí cílový parametr kompatibilní s OpenAI, který může použít mnoho stávajících klientů.
Ollama can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. Ollama is primarily an LLM-inference / chat workload. You will want fast random-access reads from disk to memory and enough VRAM for the model plus context window.
GPU servery ještě nejsou k dispozici k objednání. Dnes můžete spustit Ollama na pravidelném CPU plánu, kde to funguje mnohem pomaleji než na GPU: SSH v a spustit curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inference VRAM stupnice s modelovými parametry: model 7B potřebuje zhruba 5 až 8 GB VRAM a 13B model zhruba 10 až 14 GB, zatímco 70B-class modely potřebují několik GPU nebo těžké kvantizace.
Ceny GPU budou zveřejněny, až si můžete objednat servery GPU. Kontaktujte nás, pokud chcete slyšet, kdy se to stane.
Ano. Každý VPS.org server je vybaven plným přístupem k rootům, takže můžete spustit další nástroje vedle Ollama v rámci RAM serveru a úložiště.
Každý VPS.org server má plný kořenový SSH přístup, takže si můžete nainstalovat ovladače, knihovny a Ollama, jak budete potřebovat.
Ne. Žádný server nepřichází s předinstalovaným CUDA runtime nebo NVIDIA ovladačem a servery GPU nejsou zatím k dispozici. Instalujete verze Ollama potřebuje sami.
Ano. VPS.org servery jsou trvalé virtuální stroje, ne ephemerální instance: Ollama modely, konfigurace a data zůstávají na serveru SSD úložiště, dokud je nesmažete.
Pokračujte v práci na SSD serveru pro rychlý přístup během provozu Ollama a kopírujte hotové artefakty (váhy, generace, vkládání) do úložiště mimo VPS.org; snímky a zálohy zůstávají na stejném úložišti.
Můžete upgradovat libovolný VPS.org server na větší plán z ovládacího panelu; změna velikosti restartuje a vaše Ollama instalace přenáší přes. GPU servery ještě nejsou k dispozici.
Ano. Záloha je placená přidaná (denní +30% z ceny plánu, 7 dní; týdenní +20%, udržovaná 28 dní) a snímky jsou zdarma, což je užitečné před dlouhým provozem Ollama. Oba zůstávají na stejném úložném clusteru jako server.
Kontaktní podpora do 30 dnů od prvního nákupu požádat o vrácení peněz. GPU servery nejsou ještě prodány, takže není zapojena žádná GPU objednávka.
Kapacita GPU je omezená. Řekněte nám o své pracovní zátěži a my odpovíme s dostupností a cenami.