Poskytovanie modelov umelej inteligencie z NVIDIA Tesla P40 (24 GB VRAM, architektúra Pascal): LLM, modely obrázkov a ďalšie predpovede.Servery GPU zatiaľ nie sú objednateľné. Kontaktujte nás, aby sme vás informovali, keď budú objednateľné.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Príklad príkazu na inštaláciu
Inferencia umelej inteligencie znamená spustenie trénovaných modelov na vytváranie predpovedí.Inference server GPU udržiava model načítaný na GPU a odpovedá na požiadavky oveľa rýchlejšie ako CPU.
Grafický procesor sa prenáša len na váš server, takže latenciu neovplyvňujú úlohy grafického procesora iných zákazníkov.
Použite Ollama, llama.cpp, Triton alebo vlastné API.Niektoré frameworky, ako vLLM, potrebujú novšie GPU ako Pascal P40.
Ak vám nestačí jeden GPU, spustite niekoľko serverov za vlastným load balancerom.
Podávajte jeden stredne veľký model alebo niekoľko menších.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
Servery s GPU zatiaľ nie sú dostupné na objednávku, ale dnes môžete spustiť AI Inference na bežnom CPU pláne, kde funguje oveľa pomalšie ako na GPU: SSH v a spustiť pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM potreby pre AI Inference závisia od modelu a veľkosti dávky; skontrolujte dokumentáciu projektu pre aktuálne čísla.
Ceny grafických procesorov budú zverejnené, keď bude možné objednať servery s grafickými procesormi, ak chcete vedieť, kedy sa to stane, kontaktujte nás.
Každý server VPS.org má úplný root prístup, takže môžete spustiť ďalšie nástroje spolu s AI Inference v rámci RAM a úložiska servera.
Každý VPS.org server je dodávaný s plným root SSH prístupom, takže môžete nainštalovať ovládače, knižnice a AI Inference ako budete potrebovať.
Nie, žiadny server sa nedodáva s predinštalovaným runtime CUDA alebo ovládačom NVIDIA a servery GPU nie sú zatiaľ k dispozícii na objednanie. Verzie, ktoré AI Inference potrebuje, si nainštalujete sami.
Servery VPS.org sú trvalé virtuálne stroje, nie efemérne inštancie: modely AI Inference, konfigurácie a údaje zostávajú v SSD úložisku servera, kým ich neodstránite.
Pracovné dáta ponechajte na SSD servera pre rýchly prístup počas AI Inference behu a skopírujte hotové artefakty (váhy, generácie, vloženia) do úložiska mimo VPS.org; snapshoty a zálohy zostávajú v rovnakom úložnom klastri.
Môžete upgradovať akýkoľvek server VPS.org na väčší plán z ovládacieho panela; zmena veľkosti ho reštartuje a vaša inštalácia AI Inference sa prenesie.GPU servery nie sú zatiaľ k dispozícii.
Áno, zálohy sú platený doplnok (denné +30% z ceny plánu, udržiavané 7 dní; týždenné +20%, udržiavané 28 dní) a snapshoty sú zadarmo, čo je užitočné pred dlhými AI Inference behom. Obidva zostávajú na rovnakom úložnom klastri ako server.
Ak chcete požiadať o vrátenie peňazí, kontaktujte podporu do 30 dní od prvého nákupu.Servery s grafickými procesormi sa ešte nepredávajú, takže sa nejedná o objednávku grafických procesorov.
Kapacita GPU je obmedzená, povedzte nám o svojej pracovnej záťaži a my vám odpovieme s dostupnosťou a cenou.