Self-host Meta's Llama qaabab on a NVIDIA Tesla P40 (24 GB VRAM, naqshadeynta Pascal). U habboon 8B qaabab ku habboon oo buuxa iyo qaabab ka weyn marka la qiimeeyo. GPU servers ma aha orderable weli; nala soo xiriir si loo oggolaado marka ay yihiin.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Amarka tusaale soo dejinta
Llama waa qoyska Meta ee qaababka afka ee furan ee furan. Running Llama on your own GPU server keeps prompts and data private.
Runs 8B qaababka on 24 GB ee VRAM. 70B qaababka ma ku habboon tahay mid ka mid ah 24 GB kaarka ah heerarka quantum common.
Your farriimaha iyo xogta ku nagaan server, la aan dhinac saddexaad API wicitaanada.
isticmaal GGUF la lama.cpp ama Ollama, ama miisaanka PyTorch asalka ah.
U adeega qaabab la Ollama ama server llama.cpp si ay u dhamaadka OpenAI-u diyaarsan.
LLaMA waxaa laga yaabaa in ay isticmaalaan NVIDIA GPU si ay u dhaqaajiyaan shaqada. VPS.org GPU servers ma aha kuwo la heli karo si ay u amar ah weli; nala soo xiriir si ay u maqlaan marka ay yihiin. LLaMA waa guud GPU-ga-gacan-qaadashada shaqada. hubi software aad leedahay taageerada CUDA iyo in aad drive / runtime versions la mid ah shuruudaha shaqada ee LLaMA.
GPU servers ma aha kuwo la heli karo si ay u amar ah weli. Maanta waxaad ku socon kartaa LLaMA on qorshaha CPU caadi ah, halkaas oo ay ka shaqeyso si aad u badan oo ka sii degdeg ah ka badan GPU: SSH iyo curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 socda.
VRAM baahiyaha LLaMA ku xiran tahay nooca iyo miisaanka batch; hubi dukumiintiga mashruuca ee tirada hadda.
Qiimaha GPU waxaa la soo bandhigi doonaa marka servers GPU la siin karo. Nala soo xiriir haddii aad rabto inaad maqasho marka ay dhacdo.
Haa. Server kasta VPS.org la yimaado root buuxa, sidaas darteed waxaad ku socon kartaa qalab kale oo la socda LLaMA gudaha server ee RAM iyo kaydinta.
Server kasta VPS.org la yimaado buuxa root SSH helitaanka, sidaas darteed waxaad ku rakibi kartaa drives, buugaag iyo LLaMA si kastaba ha ahaatee aad u baahan tahay.
No. Server la yimaadaan runtime CUDA ama NVIDIA drive hore loo rakibay, iyo servers GPU ma aha mid la heli karo si ay u amar ah weli. Waxaad ku rakibi kartaa noocyada LLaMA u baahan yahay adiga kuu gaar ah.
Haa. servers VPS.org waa mashiinada virtual joogto ah, ma aha tusaale ephemeral: LLaMA qaababka, configs iyo xogta ku nagaan server ee SSD kaydinta ilaa aad tirtirto.
Ku hay xogta shaqada ee server ee SSD si aad u hesho waqti LLaMA socda, iyo nuqul ka soo baxay artefacts (miisaanka, qarniyada, embeddings) in kaydinta dibadda VPS.org; snapshots iyo backups ku nool yihiin isku kaydinta cluster.
Waxaad u cusbooneysiin kartaa server kasta VPS.org in qorshe ka weyn ka panel maamulka; resize dib u bilaabay oo LLaMA aad ku rakibi ku qaadataa. GPU servers ma jiraan weli.
Haa. Backups waa lacag la siiyo add-on (maalmaha +30% qiimaha qorshaha, la hayay 7 maalmood; todobaadle +20%, la hayay 28 maalmood) iyo snapshots waa bilaash, taas oo muhiim ah ka hor LLaMA dheer socda. Labaduba ku nagaan ku kaydinta isku ururka sida server.
La xiriir taageero 30 maalmood gudahood iibka koowaad si aad u codsato lacag celin. Servers GPU weli lama iibiyo, sidaas darteed GPU amar ma aha.
GPU awoodda waa xaddidan. noo sheeg ku saabsan shaqadaada iyo waxaan ku jawaabi doonaa la heli karo iyo qiimaha.