Self- host Meta's Llama models on a NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Suitable for 8B models at full precision and larger models when quantized. GPU servers are not yet orderable; contact us to be notified when they are.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Foarbyld ynstallaasjekommando
Llama is Meta' s famylje fan iepenlik beskikbere grutte taalmodellen. Llama útfiere op jo eigen GPU- tsjinner hâldt prompts en gegevens privee.
Dwaande 8B modellen op 24 GB fan VRAM. 70B modellen passe net op in ienige 24 GB kaart op algemiene kwantisaasje nivo' s.
Jo fragen en gegevens bliuwe op jo tsjinner, sûnder API-oproppen fan tredden.
Brûk GGUF mei llama.cpp of Ollama, of native PyTorch-gewichten.
De stêd hat in eigen stasjon, de stasjonsbuert, en in iepenbier ferfiersnetwurk.
LLaMA kin in NVIDIA GPU brûke om syn wurk te fersnellen. GPU- tsjinners fan VPS.org binne noch net beskikber om te bestellen; nim kontakt mei ús op om te hearren wannear' t se der binne. LLaMA is in algemiene GPU- fersnelling wurkbedrach. Soargje derfoar dat jo software CUDA- stipe hat en dat jo stjoerprogramma / runtime ferzjes oerienkomme mei de wurkbedrach easken foar LLaMA.
GPU- tsjinners binne noch net beskikber foar bestelling. Fan no ôf kinne jo LLaMA útfiere op in gewoan CPU- plan, wêr' t it folle langzamer wurket as op in GPU: SSH yn en curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 útfiere.
De VRAM-behoeften foar LLaMA binne ôfhinklik fan it model en de batchgrutte; kontrolearje de projektdokumintaasje foar de aktuele sifers.
De GPU-priis sil publisearre wurde as GPU-tsjinners besteld wurde kinne. Nim kontakt mei ús op as jo witte wolle wannear't dat bart.
Ja. Elke VPS.org-tsjinner hat folsleine root-tagong, sadat jo oare ark tegearre mei LLaMA útfiere kinne yn it RAM en de opslach fan de tsjinner.
Elke VPS.org-tsjinner hat folsleine root-SSH-tagong, sadat jo stjoerprogramma's, bibleteken en LLaMA ynstallearje kinne sa't jo wolle.
Nee. Gjin tsjinner komt mei in foarynstallearre CUDA runtime of NVIDIA stjoerprogramma, en GPU tsjinners binne noch net beskikber foar bestelling. Jo kinne de ferzjes dy' t LLaMA nedich hat sels ynstallearje.
Ja. VPS.org-tsjinners binne permaninte firtuele masines, net efkes besteande foarbylden: LLaMA-modellen, konfiguraasje en gegevens bliuwe op de SSD-opslach fan de tsjinner oant jo se fuortsmite.
Keep working data on the server's SSD for fast access during LLaMA runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Jo kinne eltse VPS.org- tsjinner opgradeare nei in grutter plan fanút it kontrôlepaniel; de grutte feroaring begjint it opnij en jo LLaMA- ynstallaasje wurdt oernommen. GPU- tsjinners binne noch net beskikber.
Ja. Back- ups binne in fergese tafoeging (daliks +30% fan de planpriis, 7 dagen bewarre; wykliks +20%, 28 dagen bewarre) en snapshots binne fergees, wat handich is foar lange LLaMA- útfier. Beide bliuwe op itselde opslach cluster as de tsjinner.
Nim kontakt op mei de stipe binnen 30 dagen nei jo earste oankeap om in werombetelling te freegjen. GPU-tsjinners binne noch net ferkocht, dus is der gjin GPU-bestelling.
GPU- kapasiteit is beheind. Fertel ús oer jo wurkbelasting en wy sille jo in antwurd jaan mei beskikberens en priis.