Mikarakara ny tenany ny modelin'ny Meta Llama amin'ny NVIDIA Tesla P40 (24 GB VRAM, rafitra Pascal). Mifanaraka amin'ny modely 8B amin'ny faharetana feno sy ireo modely lehibe kokoa rehefa atao hoe quantized. Tsy mbola azo atao ny mametraka ireo mpizara GPU; mifandraisa aminay mba ho fantatrao rehefa vita izany.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Ohatran'ny baiko fametrahana
Ny Llama dia fianakavian'ny modelin-teny maro azo ampiasaina malalaka ao amin'ny Meta. Ny fandefasana ny Llama amin'ny mpizara GPU-nao manokana dia miantoka ny tsy fisian'ny olona amin'ny filazana sy ny data.
Runs 8B models on 24 GB of VRAM. 70B models do not fit on a single 24 GB card at common quantization levels.
Mijanona ao amin'ny mpizarao ny fangatahanao sy ny angon-drakitrao, tsy misy antso API avy amin'ny antoko fahatelo.
Ampiasao ny GGUF miaraka amin'ny llama.cpp na Ollama, na ny lanja PyTorch.
Ny rakitra.cpp dia rakitra mirakitra ny rakitra CPP izay rakitra mirakitra ny rakitra C. Ny rakitra CPP dia rakitra mirakitra ny rakitra C.
Afaka mampiasa GPU NVIDIA ny LLaMA mba hanafainganana ny asany. Tsy mbola azo atao ny manofa ireo mpizara GPU VPS.org; mifandraisa aminay raha ho hita raha misy. Ny LLaMA dia asa iray amin'ny ankapobeny izay ampitomboin'ny GPU. Azafady alao antoka fa manana fanohanana CUDA ny rindran'asao ary mifanaraka amin'ny fepetra takian'ny LLaMA ny driver/runtime-nao.
Tsy mbola misy mpizara GPU azo apetraka. Afaka mandefa ny LLaMA amin'ny CPU mahazatra ianao amin'izao fotoana izao, izay mihazakazaka haingana kokoa noho ny amin'ny GPU: SSH ao ary mandefa ny curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Ny VRAM ilaina ho an'ny LLaMA dia miankina amin'ny modely sy ny haben'ny andian-dahatsoratra; jereo ny tahirin-kevitra momba ny tetikasa mba hahitana ny tarehimarika amin'izao fotoana izao.
Ho navoakan'ny GPU ny vidin'ny GPU rehefa azo atao ny mametraka fangatahana amin'ny mpizara GPU. Antsoy izahay raha te hahalala ny fotoana hisehoan'izany.
Eny. Ny mpizara VPS.org tsirairay dia manana ny fahazoan-dàlana feno amin'ny root, ka afaka mandefa fitaovana hafa miaraka amin'ny LLaMA ao anatin'ny RAM sy ny fitahirizana ny mpizara ianao.
Ny mpizara VPS.org tsirairay dia manana fidirana SSH feno amin'ny faka, ka azonao atao ny mametraka ny mpamily, ny tranombokin'ny LLaMA araka izay ilainao.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions LLaMA needs yourself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: LLaMA models, configs and data stay on the server's SSD storage until you delete them.
Keep working data on the server's SSD for fast access during LLaMA runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Afaka manatsara ny mpizara VPS.org iray manontolo mankany amin'ny drafitra lehibe kokoa ianao avy ao amin'ny tontonana fifehezana; ny fanovana habe dia mamerina azy ary ny fametrahana LLaMA dia mifindra. Tsy mbola misy ny mpizara GPU.
Eny. Miampy vola ny tahirin-kevitra (isam-bolana +30% amin'ny vidiny, 7 andro; isan-kerinandro +20%, 28 andro) ary maimaimpoana ny sary, izay mety ho ilaina alohan'ny handefasana LLaMA maharitra. Mitoetra amin'ny fitahirizana mitovy amin'ny mpizara izy roa ireo.
Mifandraisa amin'ny fanohanana ao anatin'ny 30 andro aorian'ny fividianana voalohany ataonao mba hangataka famerenana ny vola. Tsy mbola mivarotra ireo mpizara GPU, ka tsy misy ny fividianana GPU.
Tsy ampy ny fahafahan'ny GPU. Lazao amintsika ny lanjan'ny asa ataonao, dia hamaly amin'ny fahafahana sy ny vidiny izahay.