Podávat modely AI z NVIDIA Tesla P40 (24 GB VRAM, Pascal architektura): LLM, obrazové modely a další předpovědi. GPU servery ještě nejsou objednatelné; kontaktujte nás, aby nás informovali, kdy jsou.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Příklad instalovat příkaz
AI inference znamená spouštění vyškolených modelů k vytváření predikcí. GPU inference server udržuje model nabitý na GPU a odpovědi vyžadují mnohem rychleji než procesor.
GPU je přesměrováno na váš server sám, takže latency není ovlivněna funkcemi GPU jiných zákazníků.
Používejte Ollamu, lama.cpp, Triton nebo vlastní API. Některé rámce, jako je vLLM, potřebují novější GPU než Pascal P40.
Spusťte několik serverů za vlastním vyvažovačem zatížení, pokud jeden GPU nestačí.
Podávejte jeden střední model nebo několik menších.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
GPU servery ještě nejsou k dispozici k objednání. Dnes můžete spustit AI Inference na pravidelném CPU plánu, kde to funguje mnohem pomaleji než na GPU: SSH v a spustit pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM potřebuje AI Inference závisí na modelu a velikosti šarže; zkontrolujte dokumentaci projektu pro aktuální údaje.
Ceny GPU budou zveřejněny, až si můžete objednat servery GPU. Kontaktujte nás, pokud chcete slyšet, kdy se to stane.
Ano. Každý VPS.org server je vybaven plným přístupem k rootům, takže můžete spustit další nástroje vedle AI Inference v rámci RAM serveru a úložiště.
Každý VPS.org server má plný kořenový SSH přístup, takže si můžete nainstalovat ovladače, knihovny a AI Inference, jak budete potřebovat.
Ne. Žádný server nepřichází s předinstalovaným CUDA runtime nebo NVIDIA ovladačem a servery GPU nejsou zatím k dispozici. Instalujete verze AI Inference potřebuje sami.
Ano. VPS.org servery jsou trvalé virtuální stroje, ne ephemerální instance: AI Inference modely, konfigurace a data zůstávají na serveru SSD úložiště, dokud je nesmažete.
Pokračujte v práci na SSD serveru pro rychlý přístup během provozu AI Inference a kopírujte hotové artefakty (váhy, generace, vkládání) do úložiště mimo VPS.org; snímky a zálohy zůstávají na stejném úložišti.
Můžete upgradovat libovolný VPS.org server na větší plán z ovládacího panelu; změna velikosti restartuje a vaše AI Inference instalace přenáší přes. GPU servery ještě nejsou k dispozici.
Ano. Záloha je placená přidaná (denní +30% z ceny plánu, 7 dní; týdenní +20%, udržovaná 28 dní) a snímky jsou zdarma, což je užitečné před dlouhým provozem AI Inference. Oba zůstávají na stejném úložném clusteru jako server.
Kontaktní podpora do 30 dnů od prvního nákupu požádat o vrácení peněz. GPU servery nejsou ještě prodány, takže není zapojena žádná GPU objednávka.
Kapacita GPU je omezená. Řekněte nám o své pracovní zátěži a my odpovíme s dostupností a cenami.