A GPU szervereket NVIDIA Tesla P40 (24 GB VRAM, Pascal architektúra) készítjük elő nyílt forrású LLM-ek futtatására, mint például a Llama, Mistral és Gemma Ollamával. A GPU szerverek még nem rendelhetők meg; lépjen kapcsolatba velünk, hogy értesítsék őket.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Példa telepítési parancs
Ollama egy könnyű eszköz nagy nyelvi modellek futtatására a saját gépén. GPU szerveren a modell a GPU-n fut a CPU helyett, ami sokkal gyorsabbá teszi a válaszokat.
Húzd Llama, Mistral, Gemma, Phi, Qwen és sok más modell egy paranccsal.
7B-13B-modellek kényelmesen és 30B-modellek kvantálásával. 70B-modellek nem férnek el egy 24 GB-os kártyán közös kvantálási szinten.
Prompts és adatok maradjanak a szerveren, harmadik fél API hívások nélkül.
Ollama felfed egy OpenAI-kompatibilis végpontot, amelyet sok meglévő ügyfél használhat.
A Ollama egy NVIDIA GPU segítségével felgyorsíthatja a munkáját. A VPS.org GPU szerverek még nem rendelhetők meg; lépjen kapcsolatba velünk, hogy mikor halljuk őket. A Ollama elsősorban LLM-inferencia / chat munkaterhelés. Gyors véletlen hozzáférésű olvasást szeretne a lemezről a memóriára és elegendő VRAM-ot a modell plusz a kontextus ablakhoz.
GPU szerverek még nem érhetők el. Ma már futtathatod a Ollama-t egy rendszeres CPU terven, ahol sokkal lassabban működik, mint a GPU-n: SSH in and run curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-inferencia VRAM-skálák modell paraméterekkel: egy 7B modellnek körülbelül 5-8 GB VRAM-ra és egy 13B-s modellre van szüksége körülbelül 10-14 GB-ra, míg 70B-s osztályú modelleknek több GPU-ra vagy nagy kvantálásra van szükségük.
A GPU árazása akkor kerül közzétételre, amikor a GPU szerverek rendelhetők. Lépjen velünk kapcsolatba, ha azt szeretné hallani, amikor ez megtörténik.
Igen. Minden VPS.org szerver teljes gyökér-hozzáféréssel rendelkezik, így más eszközöket is futtathat a Ollama mellett a szerver RAM-ján és tárolóján belül.
Minden VPS.org szerver teljes gyökér SSH hozzáféréssel rendelkezik, így telepítheti a illesztőprogramokat, könyvtárakat és Ollama-t, bármennyire is kell.
Nem. Nincs szerver jön egy CUDA runtime vagy NVIDIA vezérlő előre telepített, és GPU szerverek még nem érhető el, hogy rendeljen. Telepíteni a verziók Ollama szüksége van magad.
Igen. A VPS.org szerverek állandó virtuális gépek, nem pedig efemerális esetek: Ollama modellek, konfigok és adatok maradnak a szerver SSD-tárolójában, amíg nem törli őket.
A Ollama futtatások során a szerver SSD-jén tárolt adatok megőrzése a gyors hozzáférés érdekében, valamint a kész tárgyak (súlyok, generációk, beágyazódások) másolása a VPS.org-en kívüli tárolóba; a fényképek és biztonsági másolatok ugyanazon a tárolóhalmazon maradnak.
A VPS.org szervereket a vezérlőpanelről egy nagyobb tervre frissítheted; az átméretezés újraindítja és a Ollama telepítése továbbviszi. A GPU szerverek még nem állnak rendelkezésre.
Igen. A biztonsági mentések fizetett kiegészítő (napi +30%-a a terv ár, tartott 7 nap; heti +20%, tartott 28 nap) és pillanatfelvételek ingyenesek, ami hasznos, mielőtt hosszú Ollama fut. Mindkettő maradjon ugyanabban a tároló klaszterben, mint a szerver.
Kapcsolatfelvételi támogatás az első vásárlás után 30 napon belül, hogy visszatérítést kérjen. GPU szerverek még nem értékesített, így GPU megrendelés nem szerepel.
A GPU kapacitása korlátozott. Meséljen a munkaterheléséről, és a rendelkezésre állás és az árak segítségével válaszolunk.