Waxaan diyaarinaynaa servers GPU oo leh NVIDIA Tesla P40 (24 GB VRAM, naqshadeynta Pascal) si loo fuliyo LLMs furan sida Llama, Mistral iyo Gemma oo leh Ollama. Servers GPU ma aha kuwo la dalban karo; nala soo xiriir si loo oggolaado marka ay jiraan.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Amarka tusaale soo dejinta
Ollama waa qalab fudud oo loogu talagalay xakamaynta qaababka afka ee waaweyn ee mashiinkaaga. Server GPU ah, qaabku wuxuu ku socdaa GPU-ga CPU-ga, taas oo ka dhigaysa jawaabaha wax ka badan.
Ka qaad Llama, Mistral, Gemma, Phi, Qwen iyo noocyo kale oo badan oo leh amar keliya.
Fits 7B ilaa 13B qaabab raaxo leh oo ku saabsan 30B qaabab marka quantized. 70B qaabab ma ku habboon tahay mid ka mid ah 24 GB kaarka heerarka quantification caadiga ah.
Prompts iyo xogta ku nagaan server aad, la aan dhinac saddexaad API wicitaanada.
Ollama muujinaysaa OpenAI-u diyaarsan endpoint in macaamiisha badan oo hadda jira ay isticmaali karaan.
Ollama waxaa laga yaabaa in ay isticmaalaan NVIDIA GPU si ay u dhaqaajiyaan shaqada. VPS.org GPU servers ma aha kuwo la heli karo si ay u amar ah weli; nala soo xiriir si ay u maqlaan marka ay yihiin. Ollama waa ugu horreyntii LLM-dhabar-jabka / chat workload. Waxaad dooneysaa in aad si degdeg ah u akhriyaan random-access ka disk ilaa xusuusta iyo ku filan VRAM ee qaabka iyo sidoo kale geeska context.
GPU servers ma aha kuwo la heli karo si ay u amar ah weli. Maanta waxaad ku socon kartaa Ollama on qorshaha CPU caadi ah, halkaas oo ay ka shaqeyso si aad u badan oo ka sii degdeg ah ka badan GPU: SSH iyo curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 socda.
LLM-ka VRAM-ka VRAM-ka ah ee VRAM-ka ah: 7B-ka 7B wuxuu u baahan yahay 5 ilaa 8 GB oo VRAM ah iyo 13B-ka 10 ilaa 14 GB, halka 70B-ka-qaabku u baahan yahay GPUs badan ama wax badan oo culus.
Qiimaha GPU waxaa la soo bandhigi doonaa marka servers GPU la siin karo. Nala soo xiriir haddii aad rabto inaad maqasho marka ay dhacdo.
Haa. Server kasta VPS.org la yimaado root buuxa, sidaas darteed waxaad ku socon kartaa qalab kale oo la socda Ollama gudaha server ee RAM iyo kaydinta.
Server kasta VPS.org la yimaado buuxa root SSH helitaanka, sidaas darteed waxaad ku rakibi kartaa drives, buugaag iyo Ollama si kastaba ha ahaatee aad u baahan tahay.
No. Server la yimaadaan runtime CUDA ama NVIDIA drive hore loo rakibay, iyo servers GPU ma aha mid la heli karo si ay u amar ah weli. Waxaad ku rakibi kartaa noocyada Ollama u baahan yahay adiga kuu gaar ah.
Haa. servers VPS.org waa mashiinada virtual joogto ah, ma aha tusaale ephemeral: Ollama qaababka, configs iyo xogta ku nagaan server ee SSD kaydinta ilaa aad tirtirto.
Ku hay xogta shaqada ee server ee SSD si aad u hesho waqti Ollama socda, iyo nuqul ka soo baxay artefacts (miisaanka, qarniyada, embeddings) in kaydinta dibadda VPS.org; snapshots iyo backups ku nool yihiin isku kaydinta cluster.
Waxaad u cusbooneysiin kartaa server kasta VPS.org in qorshe ka weyn ka panel maamulka; resize dib u bilaabay oo Ollama aad ku rakibi ku qaadataa. GPU servers ma jiraan weli.
Haa. Backups waa lacag la siiyo add-on (maalmaha +30% qiimaha qorshaha, la hayay 7 maalmood; todobaadle +20%, la hayay 28 maalmood) iyo snapshots waa bilaash, taas oo muhiim ah ka hor Ollama dheer socda. Labaduba ku nagaan ku kaydinta isku ururka sida server.
La xiriir taageero 30 maalmood gudahood iibka koowaad si aad u codsato lacag celin. Servers GPU weli lama iibiyo, sidaas darteed GPU amar ma aha.
GPU awoodda waa xaddidan. noo sheeg ku saabsan shaqadaada iyo waxaan ku jawaabi doonaa la heli karo iyo qiimaha.