Ön-host Meta Llama modellek NVIDIA Tesla P40 (24 GB VRAM, Pascal architektúra). A 8B modellek teljes pontossággal és nagyobb modellek, ha kvantumos. GPU szerverek még nem rendelhető; lépjen kapcsolatba velünk, hogy értesítse, amikor azok.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Példa telepítési parancs
Llama a Meta családja, amely nyíltan elérhető nagy nyelvi modellek. Futtatása Llama a saját GPU szerver tartja a prompts és az adatok privát.
A VRAM 24 GB-os 8B-s modelljeit futtatja. 70B-s modellek nem férnek el egy 24 GB-os kártyán közös kvantálási szinten.
Az Ön parancsai és adatai a szerverén maradnak, harmadik fél API hívásai nélkül.
Használja a GGUF-ot lama.cpp vagy Ollama, vagy a bennszülött PyTorch súlyokkal.
Az OpenAI-kompatibilis végponthoz Ollama vagy lama.cpp szerver modelleket szolgáljunk fel.
A LLaMA egy NVIDIA GPU segítségével felgyorsíthatja a munkáját. VPS.org GPU szerverek még nem rendelhetők; lépjen kapcsolatba velünk, hogy mikor halljuk. LLaMA egy általános GPU-gyorsított munkaterhelés. Győződjön meg arról, hogy a szoftver rendelkezik CUDA támogatással, és hogy a driver / runtime verziók megfelelnek a LLaMA munkaterhelési követelményeinek.
GPU szerverek még nem érhetők el. Ma már futtathatod a LLaMA-t egy rendszeres CPU terven, ahol sokkal lassabban működik, mint a GPU-n: SSH in and run curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
A LLaMA VRAM-igényei a modelltől és a gyártási tétel méretétől függenek; a projekt dokumentációjának ellenőrzése az aktuális számokról.
A GPU árazása akkor kerül közzétételre, amikor a GPU szerverek rendelhetők. Lépjen velünk kapcsolatba, ha azt szeretné hallani, amikor ez megtörténik.
Igen. Minden VPS.org szerver teljes gyökér-hozzáféréssel rendelkezik, így más eszközöket is futtathat a LLaMA mellett a szerver RAM-ján és tárolóján belül.
Minden VPS.org szerver teljes gyökér SSH hozzáféréssel rendelkezik, így telepítheti a illesztőprogramokat, könyvtárakat és LLaMA-t, bármennyire is kell.
Nem. Nincs szerver jön egy CUDA runtime vagy NVIDIA vezérlő előre telepített, és GPU szerverek még nem érhető el, hogy rendeljen. Telepíteni a verziók LLaMA szüksége van magad.
Igen. A VPS.org szerverek állandó virtuális gépek, nem pedig efemerális esetek: LLaMA modellek, konfigok és adatok maradnak a szerver SSD-tárolójában, amíg nem törli őket.
A LLaMA futtatások során a szerver SSD-jén tárolt adatok megőrzése a gyors hozzáférés érdekében, valamint a kész tárgyak (súlyok, generációk, beágyazódások) másolása a VPS.org-en kívüli tárolóba; a fényképek és biztonsági másolatok ugyanazon a tárolóhalmazon maradnak.
A VPS.org szervereket a vezérlőpanelről egy nagyobb tervre frissítheted; az átméretezés újraindítja és a LLaMA telepítése továbbviszi. A GPU szerverek még nem állnak rendelkezésre.
Igen. A biztonsági mentések fizetett kiegészítő (napi +30%-a a terv ár, tartott 7 nap; heti +20%, tartott 28 nap) és pillanatfelvételek ingyenesek, ami hasznos, mielőtt hosszú LLaMA fut. Mindkettő maradjon ugyanabban a tároló klaszterben, mint a szerver.
Kapcsolatfelvételi támogatás az első vásárlás után 30 napon belül, hogy visszatérítést kérjen. GPU szerverek még nem értékesített, így GPU megrendelés nem szerepel.
A GPU kapacitása korlátozott. Meséljen a munkaterheléséről, és a rendelkezésre állás és az árak segítségével válaszolunk.