Manolotra ny modelin'ny AI avy amin'ny NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture): LLMs, modelin'ny sary ary ny fanantenana hafa. Tsy mbola azo atao ny mametraka ny mpizara GPU; mifandraisa aminay mba ho fantatrao rehefa azo atao.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Ohatran'ny baiko fametrahana
Ny fiheveran'ny AI dia midika fa mandeha ny modely nampianarina mba hamoaka ny fanantenana. Ny mpizara fiheveran'ny GPU dia mitazona modely iray eo amin'ny GPU ary mamaly ny fangatahana haingana kokoa noho ny CPU.
Ny GPU dia alefa mankany amin'ny mpizara anao irery, ka tsy misy fiantraikan'ny asa GPU ataon'ny mpanjifa hafa ny fotoana fiatoana.
Ny Ollama, llama.cpp, Triton na ny API-nao no ampiasaina. Mila GPU vaovao noho ny Pascal P40 ny framework sasany, toy ny vLLM.
Mandefa mpizara maro aorian'ny load balancer-nao raha tsy ampy ny GPU iray.
Manolotra modely iray na maromaro kely kokoa.
Afaka mampiasa GPU NVIDIA ny AI Inference mba hanafainganana ny asany. Tsy mbola azo atao ny manofa ireo mpizara GPU VPS.org; mifandraisa aminay raha ho hita raha misy. Ny AI Inference dia asa iray amin'ny ankapobeny izay ampitomboin'ny GPU. Azafady alao antoka fa manana fanohanana CUDA ny rindran'asao ary mifanaraka amin'ny fepetra takian'ny AI Inference ny driver/runtime-nao.
Tsy mbola misy mpizara GPU azo apetraka. Afaka mandefa ny AI Inference amin'ny CPU mahazatra ianao amin'izao fotoana izao, izay mihazakazaka haingana kokoa noho ny amin'ny GPU: SSH ao ary mandefa ny pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Ny VRAM ilaina ho an'ny AI Inference dia miankina amin'ny modely sy ny haben'ny andian-dahatsoratra; jereo ny tahirin-kevitra momba ny tetikasa mba hahitana ny tarehimarika amin'izao fotoana izao.
Ho navoakan'ny GPU ny vidin'ny GPU rehefa azo atao ny mametraka fangatahana amin'ny mpizara GPU. Antsoy izahay raha te hahalala ny fotoana hisehoan'izany.
Eny. Ny mpizara VPS.org tsirairay dia manana ny fahazoan-dàlana feno amin'ny root, ka afaka mandefa fitaovana hafa miaraka amin'ny AI Inference ao anatin'ny RAM sy ny fitahirizana ny mpizara ianao.
Ny mpizara VPS.org tsirairay dia manana fidirana SSH feno amin'ny faka, ka azonao atao ny mametraka ny mpamily, ny tranombokin'ny AI Inference araka izay ilainao.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions AI Inference needs yourself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: AI Inference models, configs and data stay on the server's SSD storage until you delete them.
Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Afaka manatsara ny mpizara VPS.org iray manontolo mankany amin'ny drafitra lehibe kokoa ianao avy ao amin'ny tontonana fifehezana; ny fanovana habe dia mamerina azy ary ny fametrahana AI Inference dia mifindra. Tsy mbola misy ny mpizara GPU.
Eny. Miampy vola ny tahirin-kevitra (isam-bolana +30% amin'ny vidiny, 7 andro; isan-kerinandro +20%, 28 andro) ary maimaimpoana ny sary, izay mety ho ilaina alohan'ny handefasana AI Inference maharitra. Mitoetra amin'ny fitahirizana mitovy amin'ny mpizara izy roa ireo.
Mifandraisa amin'ny fanohanana ao anatin'ny 30 andro aorian'ny fividianana voalohany ataonao mba hangataka famerenana ny vola. Tsy mbola mivarotra ireo mpizara GPU, ka tsy misy ny fividianana GPU.
Tsy ampy ny fahafahan'ny GPU. Lazao amintsika ny lanjan'ny asa ataonao, dia hamaly amin'ny fahafahana sy ny vidiny izahay.