Manamboatra mpizara GPU miaraka amin'ny NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) izahay mba handefasana LLMs open-source toy ny Llama, Mistral ary Gemma miaraka amin'ny Ollama. Tsy mbola azo atao ny mametraka ny mpizara GPU; mifandraisa aminay mba ho fantatrao rehefa vita izany.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Ohatran'ny baiko fametrahana
Ny Ollama dia fitaovana tsotra ampiasaina handefasana modely amin'ny teny marobe amin'ny solosainao. Raha mampiasa mpizara GPU ianao dia mandeha amin'ny GPU ny modely fa tsy amin'ny CPU, ka manafaingana ny valinteny.
Avelao ny Llama, Mistral, Gemma, Phi, Qwen ary ireo modely maro hafa amin'ny alalan'ny baiko iray.
Fits 7B to 13B models comfortably and around 30B models when quantized. 70B models do not fit on one 24 GB card at common quantization levels.
Mijanona ao amin'ny mpizarao ny fangatahana sy ny angon-drakitra, tsy misy antso API avy amin'ny antoko fahatelo.
Ny OpenGL dia manolotra ny fahafahana mamorona ny endrika maro samihafa izay azo ampiasaina amin'ny fitaovana maro.
Afaka mampiasa GPU NVIDIA ny Ollama mba hanafainganana ny asany. Tsy mbola azo atao ny mametraka baiko amin'ny mpizara GPU VPS.org; mifandraisa aminay raha misy. Ny Ollama dia mifototra amin'ny asa LLM-inference / chat. Mila mamaky haingana amin'ny alalan'ny fidirana an-tsokosoko avy amin'ny kapila mankany amin'ny arika ianao ary VRAM ampy ho an'ny modely sy ny fikandrana fisehoan-javatra.
Tsy mbola misy mpizara GPU azo apetraka. Afaka mandefa ny Ollama amin'ny CPU mahazatra ianao amin'izao fotoana izao, izay mihazakazaka haingana kokoa noho ny amin'ny GPU: SSH ao ary mandefa ny curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Ny modely 7B dia mila ~5-8 GB VRAM, 13B ~10-14 GB, 70B dia mila multi-GPU na quantization. Ny 24 GB Tesla P40 dia mandeha tsara amin'ny modely 7B-13B amin'ny faharetana feno ary ny modely 30B-class miaraka amin'ny quantization INT8.
Ho navoakan'ny GPU ny vidin'ny GPU rehefa azo atao ny mametraka fangatahana amin'ny mpizara GPU. Antsoy izahay raha te hahalala ny fotoana hisehoan'izany.
Eny. Ny mpizara VPS.org tsirairay dia manana ny fahazoan-dàlana feno amin'ny root, ka afaka mandefa fitaovana hafa miaraka amin'ny Ollama ao anatin'ny RAM sy ny fitahirizana ny mpizara ianao.
Ny mpizara VPS.org tsirairay dia manana fidirana SSH feno amin'ny faka, ka azonao atao ny mametraka ny mpamily, ny tranombokin'ny Ollama araka izay ilainao.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions Ollama needs yourself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: Ollama models, configs and data stay on the server's SSD storage until you delete them.
Keep working data on the server's SSD for fast access during Ollama runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Afaka manatsara ny mpizara VPS.org iray manontolo mankany amin'ny drafitra lehibe kokoa ianao avy ao amin'ny tontonana fifehezana; ny fanovana habe dia mamerina azy ary ny fametrahana Ollama dia mifindra. Tsy mbola misy ny mpizara GPU.
Eny. Miampy vola ny tahirin-kevitra (isam-bolana +30% amin'ny vidiny, 7 andro; isan-kerinandro +20%, 28 andro) ary maimaimpoana ny sary, izay mety ho ilaina alohan'ny handefasana Ollama maharitra. Mitoetra amin'ny fitahirizana mitovy amin'ny mpizara izy roa ireo.
Mifandraisa amin'ny fanohanana ao anatin'ny 30 andro aorian'ny fividianana voalohany ataonao mba hangataka famerenana ny vola. Tsy mbola mivarotra ireo mpizara GPU, ka tsy misy ny fividianana GPU.
Tsy ampy ny fahafahan'ny GPU. Lazao amintsika ny lanjan'ny asa ataonao, dia hamaly amin'ny fahafahana sy ny vidiny izahay.