Self-host Meta se Llama modelle op 'n NVIDIA Tesla P40 (24 GB VRAM, Pascal argitektuur). Gepak by 8B modelle op volle presisie en groter modelle wanneer gewantifiseer word. GPU bedieners is nog nie ordebaar nie; kontak ons om in kennis gestel te word wanneer hulle is.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Voorbeeld installeer opdrag
Llama is Meta se familie van oop beskikbare groot taalmodelle. Wat Llama op jou eie GPU-bediener loop, hou aansporings en data privaat.
Die 8B - modelle op 24 GB van VRAM. 70B - modelle pas nie by gewone kwantiseringsvlakke op'n enkele 24 GB - kaart nie.
Jou aansporings en data bly op jou bediener, met geen derde-party API-roepe.
Gebruik GGUF met llama.cpp of Ollama, of inheemse PyTorch - gewigte.
Dien modelle met Ollama of die llama.cpp bediener vir 'n OpenAI-vergelykde eindpunt.
LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.
GPU servers are not available to order yet. Today you can run LLaMA on a regular CPU plan, where it works far more slowly than on a GPU: SSH in and run curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM het LLaMA nodig, afhanklik van die model en vraggrootte; kyk na die projek se dokumentasie vir huidige figure.
PUpigting sal gepubliseer word wanneer GPU bedieners bestel kan word. Kontak ons as jy wil hoor wanneer dit gebeur.
Ja. Elke VPS.org bediener kom met volledige root toegang, sodat jy kan hardloop ander gereedskap langs LLaMA binne in die bediener se Ram en berging.
Every VPS.org server comes with full root SSH access, so you can install drivers, libraries and LLaMA however you need.
Nee. Geen bediener kom met 'n CUDA looptyd of NVIDIA drywer vooraf geinstalleer, en GPU bedieners is nie beskikbaar na orde nog. Jy installeer die weergawes LLaMA benodig jouself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: LLaMA models, configs and data stay on the server's SSD storage until you delete them.
Hou werk data op die bediener se SSD vir vinnige toegang gedurende LLaMA loop, en kopieer voltooide artefakte (gewigte, geslagte, embedings) na stoor buite VPS.org; foto's en terugpakkies bly op dieselfde stoorswerm.
Jy kan enige VPS.org-bediener na 'n groter plan van die beheerpaneel opgradeer; die hervergrooting herbegin dit en jou LLaMA installeer vervoer oor. GPU bedieners is nog nie beskikbaar nie.
Ja. Rugsteunte is 'n betaalde byvoegsel (huidy +30% van die planprys, gehou 7 dae; weekliks +20%, gehou 28 dae) en foto's is gratis, wat is bruikbare voor lank LLaMA hardloop. Beide bly op dieselfde stoorswerm as die bediener.
Kontaksteun binne 30 dae van jou eerste koop om 'n heroorkop te versoek. GPU bedieners word nog nie verkoop nie, dus is geen GPU-orde daarby betrokke nie.
GPU se vermoë is beperk. Vertel ons van jou werklas en ons sal met beskikbaarheid en prysing antwoord.