Modelet e vetë-hostuara të Meta Llama në NVIDIA Tesla P40 (24 GB VRAM, arkitekturë Pascal). Përshtatet për modelet 8B me precizitet të plotë dhe modele më të mëdha kur janë të kuantizuara. Serverët e GPU nuk janë ende të porositur; kontaktoni me ne për të marrë njoftimin kur të jenë.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Shembull i komandës së instalimit
Llama është familja e Meta e modeleve të gjuhës së madhe të hapur. Duke ekzekutuar Llama në serverin e GPU tënd, mbajtja e kërkesave dhe të dhënave private.
Ruan modelet 8B në 24 GB VRAM. Modelet 70B nuk përshtaten në një kartelë të vetme 24 GB në nivelet e zakonshme të kuantizimit.
Promptët dhe të dhënat tuaja qëndrojnë në serverin tuaj, pa thirrje të tretë API.
Përdor GGUF me llama.cpp ose Ollama, ose peshat e natyrës PyTorch.
Shërbe modele me Ollama ose serverin llama.cpp për një pikën e fundit të përshtatshme OpenAI.
LLaMA mund të përdorë një GPU NVIDIA për të shpejtuar punën e vet. Serverët GPU VPS.org nuk janë ende në dispozicion për porosi; kontakto me ne për të dëgjuar kur do të jenë në dispozicion. LLaMA është një ngarkim i përgjithshëm i përshpejtuar me GPU. Sigurohu që softueri juaj mbështet CUDA dhe që driveri juaj / versionet e kohës së ekzekutimit përputhen me kërkesat e ngarkimit për LLaMA.
Serverët GPU nuk janë ende në dispozicion për porosi. Sot mund të përdorni LLaMA në një plan të zakonshëm CPU, ku punon shumë më ngadalë se në një GPU: SSH në dhe curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Nevojat e VRAM për LLaMA varen nga modeli dhe madhësia e lotit; kontrollo dokumentacionin e projektit për shifrat aktuale.
Çmimi i GPU do të publikohet kur serverat GPU të jenë të porositur. Kontaktoni me ne nëse dëshironi të dëgjoni kur të ndodhë kjo.
Çdo server VPS.org ka hyrje të plotë root, kështu që mund të përdorësh instrumente të tjera bashkë me LLaMA brenda RAM-it dhe depozitimit të serverit.
Çdo server VPS.org vjen me hyrje të plotë root SSH, kështu që mund të instaloni driverët, libraritë dhe LLaMA si të doni.
Jo. Asnjë server nuk vjen me një runtime CUDA apo driver NVIDIA të parainstaluar, dhe serverat GPU nuk janë ende në dispozicion për porosi. Ju instaloni vetë versionet që LLaMA ka nevojë.
Po. Serverat VPS.org janë makina virtuale të përhershme, jo raste të shkurtra: modelet LLaMA, konfigurimet dhe të dhënat mbeten në SSD të serverit deri sa ti eleminosh ato.
Mbaj të dhënat e punës në SSD të serverit për hyrje të shpejtë gjatë LLaMA, dhe kopjo artifaktet e përfunduara (masa, gjenerata, ndërlidhje) në depozitim jashtë VPS.org; fotot dhe backupet qëndrojnë në të njëjtin grup depozitimi.
Mund të përmirësoni çdo server VPS.org në një plan më të madh nga paneli i kontrollit; ripërmarrje e rinis atë dhe instalimi LLaMA i juaj merr mbi. Serverët GPU nuk janë ende në dispozicion.
Po. Backup-et janë një shtesë e paguar (përditë +30% e çmimit të planit, mbajtur 7 ditë; javor +20%, mbajtur 28 ditë) dhe snapshot-et janë pa pagesë, që është e dobishme para se LLaMA të ecë gjatë. Të dyja qëndrojnë në të njëjtin cluster të ruajtjes si serveri.
Kontakto ndihmën brenda 30 ditëve nga blerja e parë për të kërkuar një kthim parash. Serverët GPU nuk janë shitur ende, kështu që nuk ka porosi GPU.
Kapaciteti i GPU është i kufizuar. Na tregoni rreth ngarkesave tuaja të punës dhe do t'ju përgjigjemi me disponueshmërinë dhe çmimin.