Modely Llamy pro sebehost Meta na NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Přizpůsobené 8B modelům s plnou přesností a většími modely při kvantizaci. GPU servery ještě nejsou objednatelné; kontaktujte nás, aby nás informovali, kdy jsou.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Příklad instalovat příkaz
Llama je rodina Meta otevřeně dostupných velkých jazykových modelů. Spuštění lamy na svém vlastním serveru GPU udržuje výzvy a data v soukromí.
Spouští 8B modely na 24 GB VRAM. 70B modely se nevejdou na jedinou 24 GB kartu při společné kvantizační úrovni.
Vaše výzvy a data zůstanou na vašem serveru, bez volání API třetích stran.
Používejte GGUF s lama.cpp nebo Ollama, nebo původní PyTorch závaží.
Podávejte modely s Ollamou nebo s lama.cpp serverem pro OpenAI kompatibilní cíl.
LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.
GPU servery ještě nejsou k dispozici k objednání. Dnes můžete spustit LLaMA na pravidelném CPU plánu, kde to funguje mnohem pomaleji než na GPU: SSH v a spustit curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM potřebuje LLaMA závisí na modelu a velikosti šarže; zkontrolujte dokumentaci projektu pro aktuální údaje.
Ceny GPU budou zveřejněny, až si můžete objednat servery GPU. Kontaktujte nás, pokud chcete slyšet, kdy se to stane.
Ano. Každý VPS.org server je vybaven plným přístupem k rootům, takže můžete spustit další nástroje vedle LLaMA v rámci RAM serveru a úložiště.
Každý VPS.org server má plný kořenový SSH přístup, takže si můžete nainstalovat ovladače, knihovny a LLaMA, jak budete potřebovat.
Ne. Žádný server nepřichází s předinstalovaným CUDA runtime nebo NVIDIA ovladačem a servery GPU nejsou zatím k dispozici. Instalujete verze LLaMA potřebuje sami.
Ano. VPS.org servery jsou trvalé virtuální stroje, ne ephemerální instance: LLaMA modely, konfigurace a data zůstávají na serveru SSD úložiště, dokud je nesmažete.
Pokračujte v práci na SSD serveru pro rychlý přístup během provozu LLaMA a kopírujte hotové artefakty (váhy, generace, vkládání) do úložiště mimo VPS.org; snímky a zálohy zůstávají na stejném úložišti.
Můžete upgradovat libovolný VPS.org server na větší plán z ovládacího panelu; změna velikosti restartuje a vaše LLaMA instalace přenáší přes. GPU servery ještě nejsou k dispozici.
Ano. Záloha je placená přidaná (denní +30% z ceny plánu, 7 dní; týdenní +20%, udržovaná 28 dní) a snímky jsou zdarma, což je užitečné před dlouhým provozem LLaMA. Oba zůstávají na stejném úložném clusteru jako server.
Kontaktní podpora do 30 dnů od prvního nákupu požádat o vrácení peněz. GPU servery nejsou ještě prodány, takže není zapojena žádná GPU objednávka.
Kapacita GPU je omezená. Řekněte nám o své pracovní zátěži a my odpovíme s dostupností a cenami.