Anyị na-echekwa GPU ndị ọrụ na NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) maka ịrụ ọrụ na-emeghe LLMs dị ka Llama, Mistral na Gemma na Ollama. GPU ndị ọrụ anaghị arụ ọrụ; kpọtụrụ anyị ka a mara mgbe ha bụ.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Nhazi iwu
Ollama bụ n'ime ihenhọrọ nke dị n'ime maka ijikwa ụdị asụsụ dị ukwuu na kọmputa gị. Na GPU sava, ụdị ahụ na-arụ ọrụ na GPU n'ebe CPU nọ, nke na-eme ka nzaghachi dị n'ime ngwa.
Kpọchie Llama, Mistral, Gemma, Phi, Qwen na ọtụtụ móòdù ndị ọzọ na iwu otu.
Na-ahazi 7B ruo 13B model na-ahazi na gburugburu 30B model mgbe kwantị. 70B model na-ahazighị na otu 24 GB kaadị na ọnụọgụgụ kwantị.
Ndụmọdụ na data na-anọ na sava gị, na-enweghị ndenye API nke nke atọ.
Ollama na-egosi OpenAI-na-akpaghị aka n'ebe nkedo nke ọtụtụ ndịna-emerụ ahụ nwere ike iji.
Ollama nwere ike iji NVIDIA GPU iji kpụga ọrụ ya. VPS.org GPU sava anaghị adị maka ịnye iwu; kpọtụrụ anyị ka ịgụnye mgbe ha bụ. Ollama bụ LLM-inference / chat workload. I ga-achọ ịgụ n'ụzọ nkịtị n'ime disk ka n'ime n'ime ebe nchekwa na VRAM zuru ezu maka model plus context window.
GPU sava anaghị adị maka ịnye n'oge a. Ugbu a ị nwere ike igwu Ollama na CPU n'omume, ebe ọ na-arụ ọrụ n'ụzọ dị n'ebe ahụ karịa na GPU: SSH na-agba ọsọ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inference VRAM scales na model parameters: a 7B model chọrọ ihe dị ka 5 ruo 8 GB nke VRAM na a 13B model chọrọ ihe dị ka 10 ruo 14 GB, ebe 70B-class models chọrọ ọtụtụ GPUs ma ọ bụ nnukwu quantization.
GPU price ga-egosipụta mgbe GPU sava nwere ike ịhazi. Kpọnye anyị ma ọ bụrụ na ịchọrọ ịnụ mgbe nke ahụ ga-eme.
Ee. VPS.org sava ọbụla na-abịa na ikikembanye zuru ezu nke uruti, ya mere ị nwere ike ijikwa ihenhọrọ ndị ọzọ n'otu oge na Ollama n'ime RAM na nchekwa nke sava ahụ.
VPS.org sava ọbụla na-abịa na ikikembanye SSH zuru ezu nke nwuo, yabụ ị nwere ike ịwụnye draịva, laịbịara na Ollama dịka ịchọrọ.
Ọ dịghị. Enweghị sava na-abịa na CUDA runtime mọọbụ NVIDIA draịva nke e mepụtara n'ihu, na GPU sava ndị ahụ enweghị ike ịhazi ha. I na-etinye ụdị Ollama chọrọ gị onwe gị.
Ee. VPS.org sava bụ ndị na-adịgide virulụ igwe, ọ bụghị ihenhọrọ ndị na-adịgide: Ollama model, configurations na data na-adị na sava SSD nchekwa ruo mgbe ị na-ehichapụ ha.
Kwụsị ọrụ data na sava SSD maka nbanye n'oge Ollama na-arụ ọrụ, na debata artifaktị echepụtara (n'obere, n'ọdịnihu, na-ekpuchi) ka nchekwa n'ebe okpuru VPS.org; snapshot na backups nọ na nchekwa cluster ahụ.
I nwere ike ịkwalite ọbụla VPS.org sava ka ọbụla n'ime ntọala ndị ahụ site na paneelụ nlekọta; mmegharịa nha na-ebido ya nakwa ịwụnye Ollama gị na-ebido. GPU sava anaghị adị ugbua.
Ee. Backups bụ a paid add-on (abalị +30% nke atụmatụ ọnụahịa, echekwara ụbọchị 7; izu +20%, echekwara ụbọchị 28) na snapshots bụ free, nke bụ uru tupu ogologo Ollama na-arụ ọrụ. Ha abụọ na-adị na nchekwa cluster dị ka sava.
Kpọnye nkwado n'ime ụbọchị 30 nke ịzụta mbụ gị iji bipụta nkwụghachi. GPU sava anaghị ere ere, yabụ ọ dịghị GPU n'ime iwu ahụ.
GPU nwere ike dị obere. Kpọnye anyị banyere ọrụ gị ma anyị ga-aza na ọbụla na ọnụọgụgụ.