Ne po përgatisim serverat GPU me një NVIDIA Tesla P40 (24 GB VRAM, arkitekturë Pascal) për të kryer LLM-të me burim të hapur si Llama, Mistral dhe Gemma me Ollama. Serverat GPU nuk janë ende të porositshëm; kontaktoni me ne për të marrë njoftimin kur të jenë.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Shembull i komandës së instalimit
Ollama është një mjet i lehtë për të ekzekutuar modele të mëdha gjuhësore në makinën tuaj. Në një server GPU modeli ekzekutohet në GPU në vend të CPU, që bën përgjigjet shumë më të shpejta.
Tërhiqni Llama, Mistral, Gemma, Phi, Qwen dhe shumë modele të tjera me një komandë.
Përshtatet 7B në 13B modele rehat dhe rreth 30B modele kur kuantizuar. 70B modele nuk përshtaten në një 24 GB kartelë në nivelet e zakonshme kuantizuar.
Prompts dhe të dhënat qëndrojnë në serverin tuaj, pa thirrje të tretë API.
Ollama ekspozon një pikë përfundimtare të përshtatshme OpenAI që shumë klientë ekzistues mund të përdorin.
Ollama mund të përdorë një GPU NVIDIA për të shpejtuar punën e vet. Serverët e GPU VPS.org nuk janë ende në dispozicion për porosi; kontakto me ne për të dëgjuar kur janë. Ollama është kryesisht një ngarkim pune LLM-inference / chat. Do të dëshironi lexime të shpejta të rastit nga disk në memorie dhe VRAM të mjaftueshme për modelin plus dritaren kontekstuale.
Serverët GPU nuk janë ende në dispozicion për porosi. Sot mund të përdorni Ollama në një plan të zakonshëm CPU, ku punon shumë më ngadalë se në një GPU: SSH në dhe curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inference VRAM shkallët me parametrat e modelit: një model 7B ka nevojë për rreth 5 deri 8 GB e VRAM dhe një model 13B rreth 10 deri 14 GB, ndërsa 70B-klasë modele kanë nevojë për disa GPU ose kuantizim të rëndë.
Çmimi i GPU do të publikohet kur serverat GPU të jenë të porositur. Kontaktoni me ne nëse dëshironi të dëgjoni kur të ndodhë kjo.
Çdo server VPS.org ka hyrje të plotë root, kështu që mund të përdorësh instrumente të tjera bashkë me Ollama brenda RAM-it dhe depozitimit të serverit.
Çdo server VPS.org vjen me hyrje të plotë root SSH, kështu që mund të instaloni driverët, libraritë dhe Ollama si të doni.
Jo. Asnjë server nuk vjen me një runtime CUDA apo driver NVIDIA të parainstaluar, dhe serverat GPU nuk janë ende në dispozicion për porosi. Ju instaloni vetë versionet që Ollama ka nevojë.
Po. Serverat VPS.org janë makina virtuale të përhershme, jo raste të shkurtra: modelet Ollama, konfigurimet dhe të dhënat mbeten në SSD të serverit deri sa ti eleminosh ato.
Mbaj të dhënat e punës në SSD të serverit për hyrje të shpejtë gjatë Ollama, dhe kopjo artifaktet e përfunduara (masa, gjenerata, ndërlidhje) në depozitim jashtë VPS.org; fotot dhe backupet qëndrojnë në të njëjtin grup depozitimi.
Mund të përmirësoni çdo server VPS.org në një plan më të madh nga paneli i kontrollit; ripërmarrje e rinis atë dhe instalimi Ollama i juaj merr mbi. Serverët GPU nuk janë ende në dispozicion.
Po. Backup-et janë një shtesë e paguar (përditë +30% e çmimit të planit, mbajtur 7 ditë; javor +20%, mbajtur 28 ditë) dhe snapshot-et janë pa pagesë, që është e dobishme para se Ollama të ecë gjatë. Të dyja qëndrojnë në të njëjtin cluster të ruajtjes si serveri.
Kontakto ndihmën brenda 30 ditëve nga blerja e parë për të kërkuar një kthim parash. Serverët GPU nuk janë shitur ende, kështu që nuk ka porosi GPU.
Kapaciteti i GPU është i kufizuar. Na tregoni rreth ngarkesave tuaja të punës dhe do t'ju përgjigjemi me disponueshmërinë dhe çmimin.