Kukhala ndi ma Llama a Meta pa NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Kugwirizana ndi ma 8B pa mfundo zonse ndi ma 8B akuluakulu pamene akukwantizirana. Ma GPU sakupezeka pano; tiuzeni kuti mudziwe pamene akupezeka.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Mfano wa kukhazikitsa lamulo
Llama ndi banja la Meta la machitidwe a zinenero zopezeka mwaulere. Kugwiritsa ntchito Llama pa seva yanu ya GPU kumateteza mapempho ndi deta.
Amayendetsa ma 8B models pa 24 GB a VRAM. Ma 70B models sayenera pa katundu wa 24 GB pamalingaliro otchuka a quantization.
Mafunso anu ndi deta imakhala pa seva yanu, popanda ma API achitatu.
Kuthandizira kwa GGUF, GPTQ, AWQ, ndi mafomu a PyTorch.
Kupereka mafano ndi Ollama kapena lama.cpp server kwa OpenAI-ogwirizana endpoint.
LLaMA akhoza kugwiritsa ntchito NVIDIA GPU kuti afulumizitse ntchito yake. VPS.org GPU ma seva si angathe kulandira; tiuzeni kuti mudziwe pamene iwo ndi. LLaMA ndi GPU-kufulumira ntchito ntchito. onetsetsani kuti mapulogalamu anu ali CUDA thandizo ndi kuti wanu woyendetsa / runtime zigawo kugwirizana zosowa ntchito ntchito kwa LLaMA.
GPU ma seva si opezeka kuti aperekebe. Tsopano mungagwiritse ntchito LLaMA pa CPU yachikhalidwe, komwe imagwira ntchito mofulumira kuposa pa GPU: SSH mu ndi kuyendetsa curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM zosowa kwa LLaMA zimadalira mtundu wa mtundu ndi gulu; onetsetsani ntchito zamakono za ntchitoyi za anthu amakono.
Kugulitsa kwa GPU kudzatulutsidwa pamene ma seva a GPU angagwiritsidwe ntchito. Tiuzeni ngati mukufuna kumvetsetsa pamene izi zikuchitika.
Yai. Kawirikawiri VPS.org server amachokera ndi wonse root kulowa, kotero inu mukhoza kuyendetsa ena zipangizo mbali LLaMA m'ma RAM ndi kusungirako server.
Gawo lililonse VPS.org wothandizira amachokera ndi wonse root SSH kulowa, kotero inu mukhoza kukhazikitsa oyendetsa, mabuku ndi LLaMA koma inu muyenera.
Sichoncho. Palibe wothandizira amafika ndi CUDA runtime kapena NVIDIA woyendetsa preinstalled, ndi GPU othandizira sizilipo kuti aperekebe. Mumakhazikitsa LLaMA zojambula zofunikira nokha.
Ndikoyenera. VPS.org ma seva ndi olimba olimba, osati opanda pake: LLaMA mapangidwe, zosankha ndi deta zimakhazikika pa SSD yosungira server mpaka mutachotsa.
Kusunga ntchito deta pa SSD seva kwa kulowa mosavuta pamene LLaMA kunyamula, ndi kukopera kumaliza artifacts (mawuwo, chiyambi, embeddings) ku osungirako kunja VPS.org; snapshots ndi zosunga zobwezeretsera azikhala pamodzi osungirako gulu.
Mukhoza kuwonjezera iliyonse VPS.org wothandizira kuti malire lalikulu kuchokera ku gulu la kuwongolera; resize imayambanso ndi LLaMA kukhazikitsa wanu amapita. GPU othandizira si opezekabe.
Yes. Backups ndi wolipira add-on (tsiku ndi tsiku + 30% ya mtengo wa ndondomeko, anasunga masiku 7; tsiku ndi tsiku + 20%, anasunga masiku 28) ndi snapshots ndi ufulu, amene ndi zothandiza pamaso LLaMA m'mbuyo m'mbuyo.
Mutha kulumikizana ndi thandizo m'masiku 30 a kugula kwanu koyamba kuti mupemphe kuti mubwezere ndalama. GPU servers sizikugulitsidwabe, chifukwa chake palibe GPU order.
Kutha kwa GPU ndi kocheperako. Tiuzeni za ntchito yanu ndipo tidzakuyankha ndi kuchuluka kwa ndalama zomwe zilipo.