Szolgáljon AI modelleket NVIDIA Tesla P40 (24 GB VRAM, Pascal architektúra): LLM-ek, képmodellek és egyéb előrejelzések. GPU szerverek még nem rendelhető; lépjen kapcsolatba velünk, hogy értesítsék őket, ha vannak.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Példa telepítési parancs
A GPU-eredmények alapján a GPU-kiszolgáló a GPU-n megtöltött modellt tartja, és a válaszok sokkal gyorsabban kérik, mint a CPU-t.
A GPU-t egyedül a szerverére adják át, így a latencia nem befolyásolja más ügyfelek GPU-állásait.
Használja Ollama, lama.cpp, Triton vagy a saját API. Néhány keretek, mint a vLLM, szüksége van újabb GPU-k, mint a Pascal P40.
Futtasson több szervert a saját terhelés-mérlegelője mögött, ha egy GPU nem elég.
Szolgáljon fel egy közepes méretű modellt vagy több kisebbet.
A AI Inference egy NVIDIA GPU segítségével felgyorsíthatja a munkáját. VPS.org GPU szerverek még nem rendelhetők; lépjen kapcsolatba velünk, hogy mikor halljuk. AI Inference egy általános GPU-gyorsított munkaterhelés. Győződjön meg arról, hogy a szoftver rendelkezik CUDA támogatással, és hogy a driver / runtime verziók megfelelnek a AI Inference munkaterhelési követelményeinek.
GPU szerverek még nem érhetők el. Ma már futtathatod a AI Inference-t egy rendszeres CPU terven, ahol sokkal lassabban működik, mint a GPU-n: SSH in and run pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
A AI Inference VRAM-igényei a modelltől és a gyártási tétel méretétől függenek; a projekt dokumentációjának ellenőrzése az aktuális számokról.
A GPU árazása akkor kerül közzétételre, amikor a GPU szerverek rendelhetők. Lépjen velünk kapcsolatba, ha azt szeretné hallani, amikor ez megtörténik.
Igen. Minden VPS.org szerver teljes gyökér-hozzáféréssel rendelkezik, így más eszközöket is futtathat a AI Inference mellett a szerver RAM-ján és tárolóján belül.
Minden VPS.org szerver teljes gyökér SSH hozzáféréssel rendelkezik, így telepítheti a illesztőprogramokat, könyvtárakat és AI Inference-t, bármennyire is kell.
Nem. Nincs szerver jön egy CUDA runtime vagy NVIDIA vezérlő előre telepített, és GPU szerverek még nem érhető el, hogy rendeljen. Telepíteni a verziók AI Inference szüksége van magad.
Igen. A VPS.org szerverek állandó virtuális gépek, nem pedig efemerális esetek: AI Inference modellek, konfigok és adatok maradnak a szerver SSD-tárolójában, amíg nem törli őket.
A AI Inference futtatások során a szerver SSD-jén tárolt adatok megőrzése a gyors hozzáférés érdekében, valamint a kész tárgyak (súlyok, generációk, beágyazódások) másolása a VPS.org-en kívüli tárolóba; a fényképek és biztonsági másolatok ugyanazon a tárolóhalmazon maradnak.
A VPS.org szervereket a vezérlőpanelről egy nagyobb tervre frissítheted; az átméretezés újraindítja és a AI Inference telepítése továbbviszi. A GPU szerverek még nem állnak rendelkezésre.
Igen. A biztonsági mentések fizetett kiegészítő (napi +30%-a a terv ár, tartott 7 nap; heti +20%, tartott 28 nap) és pillanatfelvételek ingyenesek, ami hasznos, mielőtt hosszú AI Inference fut. Mindkettő maradjon ugyanabban a tároló klaszterben, mint a szerver.
Kapcsolatfelvételi támogatás az első vásárlás után 30 napon belül, hogy visszatérítést kérjen. GPU szerverek még nem értékesített, így GPU megrendelés nem szerepel.
A GPU kapacitása korlátozott. Meséljen a munkaterheléséről, és a rendelkezésre állás és az árak segítségével válaszolunk.