Pripravujeme GPU servery s NVIDIA Tesla P40 (24 GB VRAM, Pascal architektúra) pre spustenie open-source LLM ako Llama, Mistral a Gemma s Ollama.GPU servery zatiaľ nie sú objednateľné, kontaktujte nás, aby sme vás informovali, keď budú.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Príklad príkazu na inštaláciu
Ollama je ľahký nástroj na spustenie veľkých jazykových modelov na vlastnom počítači, na GPU serveri model beží na GPU namiesto CPU, čo robí odpovede oveľa rýchlejšie.
Pull Llama, Mistral, Gemma, Phi, Qwen a mnoho ďalších modelov s jedným príkazom.
Pohodlne sa zmestí na modely 7B až 13B a približne na modely 30B pri kvantizácii.Modely 70B sa nezmestia na jednu 24 GB kartu pri bežných kvantizačných úrovniach.
Výzvy a údaje zostávajú na vašom serveri bez volaní API tretích strán.
Ollama vystavuje OpenAI-kompatibilný koncový bod, ktorý môže používať mnoho existujúcich klientov.
Ollama môže na zrýchlenie svojej práce používať NVIDIA GPU. VPS.org GPU servery zatiaľ nie sú dostupné na objednanie; kontaktujte nás, aby ste sa dozvedeli, kedy budú k dispozícii. Ollama je primárne pracovné zaťaženie LLM-inference / chat. Budete potrebovať rýchle náhodné čítanie z disku do pamäte a dostatok VRAM pre model plus kontextové okno.
Servery s GPU zatiaľ nie sú dostupné na objednávku, ale dnes môžete spustiť Ollama na bežnom CPU pláne, kde funguje oveľa pomalšie ako na GPU: SSH v a spustiť curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inferenčná VRAM sa škáluje s parametrami modelu: model 7B potrebuje približne 5 až 8 GB VRAM a model 13B približne 10 až 14 GB, zatiaľ čo modely triedy 70B potrebujú niekoľko GPU alebo ťažké kvantizácie.
Ceny grafických procesorov budú zverejnené, keď bude možné objednať servery s grafickými procesormi, ak chcete vedieť, kedy sa to stane, kontaktujte nás.
Každý server VPS.org má úplný root prístup, takže môžete spustiť ďalšie nástroje spolu s Ollama v rámci RAM a úložiska servera.
Každý VPS.org server je dodávaný s plným root SSH prístupom, takže môžete nainštalovať ovládače, knižnice a Ollama ako budete potrebovať.
Nie, žiadny server sa nedodáva s predinštalovaným runtime CUDA alebo ovládačom NVIDIA a servery GPU nie sú zatiaľ k dispozícii na objednanie. Verzie, ktoré Ollama potrebuje, si nainštalujete sami.
Servery VPS.org sú trvalé virtuálne stroje, nie efemérne inštancie: modely Ollama, konfigurácie a údaje zostávajú v SSD úložisku servera, kým ich neodstránite.
Pracovné dáta ponechajte na SSD servera pre rýchly prístup počas Ollama behu a skopírujte hotové artefakty (váhy, generácie, vloženia) do úložiska mimo VPS.org; snapshoty a zálohy zostávajú v rovnakom úložnom klastri.
Môžete upgradovať akýkoľvek server VPS.org na väčší plán z ovládacieho panela; zmena veľkosti ho reštartuje a vaša inštalácia Ollama sa prenesie.GPU servery nie sú zatiaľ k dispozícii.
Áno, zálohy sú platený doplnok (denné +30% z ceny plánu, udržiavané 7 dní; týždenné +20%, udržiavané 28 dní) a snapshoty sú zadarmo, čo je užitočné pred dlhými Ollama behom. Obidva zostávajú na rovnakom úložnom klastri ako server.
Ak chcete požiadať o vrátenie peňazí, kontaktujte podporu do 30 dní od prvého nákupu.Servery s grafickými procesormi sa ešte nepredávajú, takže sa nejedná o objednávku grafických procesorov.
Kapacita GPU je obmedzená, povedzte nám o svojej pracovnej záťaži a my vám odpovieme s dostupnosťou a cenou.