N'onwe-onyena-émèbè Meta's Llama models na NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Émèbèlàrà na 8B models na n'ike zuru ezu nakwa na model ndị ka ukwuu mgbe é mégharịrị ha. GPU servers abụghị ndị a ga-émèbèghị n'ebe ahụ; kpọtụrụ anyị ka a kpọọ ha mgbe ha na-eme.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Nhazi iwu
LLaMA (Large Language Model Meta AI) bụ ezinụlọ Meta nke open-source nnukwu asụsụ model. Ọrụ LLaMA na GPU VPS na-enye gị ikike ịbanye na-enweghị nkwụsị na asụsụ AI dị ike.
Na-arụ ọrụ 8B model na 24 GB nke VRAM. 70B model anaghị ahazi na 24 GB kaadị ọbụla na ọnụọgụgụ kwantịzaịọn.
Ndụmọdụ gị na data gị na-adị na sava gị, na-enweghị ndenye API nke nke atọ.
Jiri GGUF na lama.cpp mọọbụ Ollama, mọọbụ naịlọn PyTorch.
Nnyefe móòdù na Ollama mọọbụ lama.cpp sava maka ngwụcha nke OpenAI-na-akpaghị aka.
LLaMA nwere ike iji NVIDIA GPU iji kpụga ọrụ ya. VPS.org GPU sava anaghị adị maka ịnye iwu; kpọtụrụ anyị ka ịmara mgbe ha bụ. LLaMA bụ ọrụ ọrụ GPU-amụbawo. N'aka nke ọzọ, software gị nwere nkwado CUDA na nke gị draịva / runtime ụdị dị ka ọrụ ọrụ chọrọ maka LLaMA.
GPU sava anaghị adị maka ịnye n'oge a. Ugbu a ị nwere ike igwu LLaMA na CPU n'omume, ebe ọ na-arụ ọrụ n'ụzọ dị n'ebe ahụ karịa na GPU: SSH na-agba ọsọ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM chọrọ maka LLaMA dị na model na bátị̀lụ́ nha; hụ na dọkumenti ọfụụ maka nkọwa nke ọfụụ.
GPU price ga-egosipụta mgbe GPU sava nwere ike ịhazi. Kpọnye anyị ma ọ bụrụ na ịchọrọ ịnụ mgbe nke ahụ ga-eme.
Ee. VPS.org sava ọbụla na-abịa na ikikembanye zuru ezu nke uruti, ya mere ị nwere ike ijikwa ihenhọrọ ndị ọzọ n'otu oge na LLaMA n'ime RAM na nchekwa nke sava ahụ.
VPS.org sava ọbụla na-abịa na ikikembanye SSH zuru ezu nke nwuo, yabụ ị nwere ike ịwụnye draịva, laịbịara na LLaMA dịka ịchọrọ.
Ọ dịghị. Enweghị sava na-abịa na CUDA runtime mọọbụ NVIDIA draịva nke e mepụtara n'ihu, na GPU sava ndị ahụ enweghị ike ịhazi ha. I na-etinye ụdị LLaMA chọrọ gị onwe gị.
Ee. VPS.org sava bụ ndị na-adịgide virulụ igwe, ọ bụghị ihenhọrọ ndị na-adịgide: LLaMA model, configurations na data na-adị na sava SSD nchekwa ruo mgbe ị na-ehichapụ ha.
Kwụsị ọrụ data na sava SSD maka nbanye n'oge LLaMA na-arụ ọrụ, na debata artifaktị echepụtara (n'obere, n'ọdịnihu, na-ekpuchi) ka nchekwa n'ebe okpuru VPS.org; snapshot na backups nọ na nchekwa cluster ahụ.
I nwere ike ịkwalite ọbụla VPS.org sava ka ọbụla n'ime ntọala ndị ahụ site na paneelụ nlekọta; mmegharịa nha na-ebido ya nakwa ịwụnye LLaMA gị na-ebido. GPU sava anaghị adị ugbua.
Ee. Backups bụ a paid add-on (abalị +30% nke atụmatụ ọnụahịa, echekwara ụbọchị 7; izu +20%, echekwara ụbọchị 28) na snapshots bụ free, nke bụ uru tupu ogologo LLaMA na-arụ ọrụ. Ha abụọ na-adị na nchekwa cluster dị ka sava.
Kpọnye nkwado n'ime ụbọchị 30 nke ịzụta mbụ gị iji bipụta nkwụghachi. GPU sava anaghị ere ere, yabụ ọ dịghị GPU n'ime iwu ahụ.
GPU nwere ike dị obere. Kpọnye anyị banyere ọrụ gị ma anyị ga-aza na ọbụla na ọnụọgụgụ.