Self-host Meta's Llama modely na NVIDIA Tesla P40 (24 GB VRAM, Pascal architektúra). Vhodné pre 8B modely pri plnej presnosti a väčšie modely pri kvantizácii.GPU servery nie sú objednateľné zatiaľ; kontaktujte nás, aby sme vás informovali, keď budú.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Príklad príkazu na inštaláciu
Llama je rodina Meta otvorene dostupných veľkých jazykových modelov.Bežiaci Llama na vašom vlastnom GPU serveri udržuje výzvy a dáta súkromné.
Modely 8B sa spúšťajú na 24 GB pamäte VRAM, modely 70B sa pri bežných úrovniach kvantizácie nezmestia na jednu 24 GB kartu.
Vaše výzvy a údaje zostávajú na vašom serveri bez volaní API tretích strán.
Použite GGUF s llama.cpp alebo Ollama, alebo natívne PyTorch váhy.
Poskytujte modely s Ollamou alebo serverom llama.cpp pre koncový bod kompatibilný s OpenAI.
LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.
Servery s GPU zatiaľ nie sú dostupné na objednávku, ale dnes môžete spustiť LLaMA na bežnom CPU pláne, kde funguje oveľa pomalšie ako na GPU: SSH v a spustiť curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM potreby pre LLaMA závisia od modelu a veľkosti dávky; skontrolujte dokumentáciu projektu pre aktuálne čísla.
Ceny grafických procesorov budú zverejnené, keď bude možné objednať servery s grafickými procesormi, ak chcete vedieť, kedy sa to stane, kontaktujte nás.
Každý server VPS.org má úplný root prístup, takže môžete spustiť ďalšie nástroje spolu s LLaMA v rámci RAM a úložiska servera.
Každý VPS.org server je dodávaný s plným root SSH prístupom, takže môžete nainštalovať ovládače, knižnice a LLaMA ako budete potrebovať.
Nie, žiadny server sa nedodáva s predinštalovaným runtime CUDA alebo ovládačom NVIDIA a servery GPU nie sú zatiaľ k dispozícii na objednanie. Verzie, ktoré LLaMA potrebuje, si nainštalujete sami.
Servery VPS.org sú trvalé virtuálne stroje, nie efemérne inštancie: modely LLaMA, konfigurácie a údaje zostávajú v SSD úložisku servera, kým ich neodstránite.
Pracovné dáta ponechajte na SSD servera pre rýchly prístup počas LLaMA behu a skopírujte hotové artefakty (váhy, generácie, vloženia) do úložiska mimo VPS.org; snapshoty a zálohy zostávajú v rovnakom úložnom klastri.
Môžete upgradovať akýkoľvek server VPS.org na väčší plán z ovládacieho panela; zmena veľkosti ho reštartuje a vaša inštalácia LLaMA sa prenesie.GPU servery nie sú zatiaľ k dispozícii.
Áno, zálohy sú platený doplnok (denné +30% z ceny plánu, udržiavané 7 dní; týždenné +20%, udržiavané 28 dní) a snapshoty sú zadarmo, čo je užitočné pred dlhými LLaMA behom. Obidva zostávajú na rovnakom úložnom klastri ako server.
Ak chcete požiadať o vrátenie peňazí, kontaktujte podporu do 30 dní od prvého nákupu.Servery s grafickými procesormi sa ešte nepredávajú, takže sa nejedná o objednávku grafických procesorov.
Kapacita GPU je obmedzená, povedzte nám o svojej pracovnej záťaži a my vám odpovieme s dostupnosťou a cenou.