Wy meitsje GPU- tsjinners klear mei in NVIDIA Tesla P40 (24 GB VRAM, Pascal- arsjitektuer) foar it útfieren fan iepen boarne LLM' s lykas Llama, Mistral en Gemma mei Ollama. GPU- tsjinners binne noch net te bestellen; nim kontakt mei ús op om te hearren wannear' t se beskikber binne.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Foarbyld ynstallaasjekommando
Ollama is in lichtgewicht ark foar it útfieren fan grutte taalmodellen op jo eigen masine. Op in GPU- tsjinner rint it model op de GPU ynstee fan de CPU, wat de antwurden folle flugger makket.
Pull Llama, Mistral, Gemma, Phi, Qwen en in soad oare modellen mei ien kommando.
De 7B- en 13B-modellen passe goed en de 30B-modellen kinne mei in kwantaasje oanpast wurde. De 70B-modellen passe net op in 24 GB-kaart by de algemiene kwantaasjenivo's.
Prompts en gegevens bliuwe op jo tsjinner, sûnder API-oproppen fan tredden.
De stêd hat in soad keunstwurken dy't yn it museum te sjen binne.
Ollama can use a NVIDIA GPU to speed up its work. VPS.org GPU servers are not yet available to order; contact us to hear when they are. Ollama is primarily a LLM- inference / chat workload. You will want fast random- access reads from disk to memory and enough VRAM for the model plus context window.
GPU- tsjinners binne noch net beskikber foar bestelling. Fan no ôf kinne jo Ollama útfiere op in gewoan CPU- plan, wêr' t it folle langzamer wurket as op in GPU: SSH yn en curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 útfiere.
LLM-ynferinsje VRAM skaalt mei modelparameters. In 7B-model hat ~5-8 GB VRAM nedich, 13B ~10-14 GB, 70B fereasket multi-GPU of kwantisering. Us 24 GB Tesla P40 draait komfortabel 7B-13B-modellen mei folsleine presyzje en 30B-klassemodellen mei INT8-kwantisering.
De GPU-priis sil publisearre wurde as GPU-tsjinners besteld wurde kinne. Nim kontakt mei ús op as jo witte wolle wannear't dat bart.
Ja. Elke VPS.org-tsjinner hat folsleine root-tagong, sadat jo oare ark tegearre mei Ollama útfiere kinne yn it RAM en de opslach fan de tsjinner.
Elke VPS.org-tsjinner hat folsleine root-SSH-tagong, sadat jo stjoerprogramma's, bibleteken en Ollama ynstallearje kinne sa't jo wolle.
Nee. Gjin tsjinner komt mei in foarynstallearre CUDA runtime of NVIDIA stjoerprogramma, en GPU tsjinners binne noch net beskikber foar bestelling. Jo kinne de ferzjes dy' t Ollama nedich hat sels ynstallearje.
Ja. VPS.org-tsjinners binne permaninte firtuele masines, net efkes besteande foarbylden: Ollama-modellen, konfiguraasje en gegevens bliuwe op de SSD-opslach fan de tsjinner oant jo se fuortsmite.
Keep working data on the server's SSD for fast access during Ollama runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Jo kinne eltse VPS.org- tsjinner opgradeare nei in grutter plan fanút it kontrôlepaniel; de grutte feroaring begjint it opnij en jo Ollama- ynstallaasje wurdt oernommen. GPU- tsjinners binne noch net beskikber.
Ja. Back- ups binne in fergese tafoeging (daliks +30% fan de planpriis, 7 dagen bewarre; wykliks +20%, 28 dagen bewarre) en snapshots binne fergees, wat handich is foar lange Ollama- útfier. Beide bliuwe op itselde opslach cluster as de tsjinner.
Nim kontakt op mei de stipe binnen 30 dagen nei jo earste oankeap om in werombetelling te freegjen. GPU-tsjinners binne noch net ferkocht, dus is der gjin GPU-bestelling.
GPU- kapasiteit is beheind. Fertel ús oer jo wurkbelasting en wy sille jo in antwurd jaan mei beskikberens en priis.