Nweta AI model site na NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture): LLMs, ihenhọrọ ihenhọrọ na ihenhọrọ ndị ọzọ. GPU sava anaghị arụ ọrụ ugbua; kpọtụrụ anyị ka a mara mgbe ha bụ.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Nhazi iwu
AI inference pụtara na-arụ ọrụ model ndị a zụlitere ka ha mepụta ihe atụ. GPU inference server na-echekwa model a na-ebubata na GPU nakwa na-aza ajụjụ n'ụzọ dị ngwa karịa CPU.
GPU a na-eziga site n'aka sava gị naanị, yabụ na ọ gaghị adị mmebi site na ọrụ GPU ndị ọzọ nke ndị ọrụ.
Jiri Ollama, llama.cpp, Triton mọọbụ API gị. Otú ọ dị, ụfọdụ fréèmù, dịka vLLM, chọrọ GPUs ọhụrụ karịa Pascal P40.
Bido sava ndị ọzọ n'okpuru ọba-ahazi gị ma ọ bụrụ na GPU ọbụla adịghị adị.
Serve otu n'etiti-ụdị model ma ọ bụ ọtụtụ obere ndị.
AI Inference nwere ike iji NVIDIA GPU iji kpụga ọrụ ya. VPS.org GPU sava anaghị adị maka ịnye iwu; kpọtụrụ anyị ka ịmara mgbe ha bụ. AI Inference bụ ọrụ ọrụ GPU-amụbawo. N'aka nke ọzọ, software gị nwere nkwado CUDA na nke gị draịva / runtime ụdị dị ka ọrụ ọrụ chọrọ maka AI Inference.
GPU sava anaghị adị maka ịnye n'oge a. Ugbu a ị nwere ike igwu AI Inference na CPU n'omume, ebe ọ na-arụ ọrụ n'ụzọ dị n'ebe ahụ karịa na GPU: SSH na-agba ọsọ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM chọrọ maka AI Inference dị na model na bátị̀lụ́ nha; hụ na dọkumenti ọfụụ maka nkọwa nke ọfụụ.
GPU price ga-egosipụta mgbe GPU sava nwere ike ịhazi. Kpọnye anyị ma ọ bụrụ na ịchọrọ ịnụ mgbe nke ahụ ga-eme.
Ee. VPS.org sava ọbụla na-abịa na ikikembanye zuru ezu nke uruti, ya mere ị nwere ike ijikwa ihenhọrọ ndị ọzọ n'otu oge na AI Inference n'ime RAM na nchekwa nke sava ahụ.
VPS.org sava ọbụla na-abịa na ikikembanye SSH zuru ezu nke nwuo, yabụ ị nwere ike ịwụnye draịva, laịbịara na AI Inference dịka ịchọrọ.
Ọ dịghị. Enweghị sava na-abịa na CUDA runtime mọọbụ NVIDIA draịva nke e mepụtara n'ihu, na GPU sava ndị ahụ enweghị ike ịhazi ha. I na-etinye ụdị AI Inference chọrọ gị onwe gị.
Ee. VPS.org sava bụ ndị na-adịgide virulụ igwe, ọ bụghị ihenhọrọ ndị na-adịgide: AI Inference model, configurations na data na-adị na sava SSD nchekwa ruo mgbe ị na-ehichapụ ha.
Kwụsị ọrụ data na sava SSD maka nbanye n'oge AI Inference na-arụ ọrụ, na debata artifaktị echepụtara (n'obere, n'ọdịnihu, na-ekpuchi) ka nchekwa n'ebe okpuru VPS.org; snapshot na backups nọ na nchekwa cluster ahụ.
I nwere ike ịkwalite ọbụla VPS.org sava ka ọbụla n'ime ntọala ndị ahụ site na paneelụ nlekọta; mmegharịa nha na-ebido ya nakwa ịwụnye AI Inference gị na-ebido. GPU sava anaghị adị ugbua.
Ee. Backups bụ a paid add-on (abalị +30% nke atụmatụ ọnụahịa, echekwara ụbọchị 7; izu +20%, echekwara ụbọchị 28) na snapshots bụ free, nke bụ uru tupu ogologo AI Inference na-arụ ọrụ. Ha abụọ na-adị na nchekwa cluster dị ka sava.
Kpọnye nkwado n'ime ụbọchị 30 nke ịzụta mbụ gị iji bipụta nkwụghachi. GPU sava anaghị ere ere, yabụ ọ dịghị GPU n'ime iwu ahụ.
GPU nwere ike dị obere. Kpọnye anyị banyere ọrụ gị ma anyị ga-aza na ọbụla na ọnụọgụgụ.