Li-models tsa Llama tsa Meta tse nang le ho amohela ka bomong ka NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Li loketse li-models tsa 8B ka ho feletseng le li-models tse kholo ha li quantised. Li-server tsa GPU ha li ka rekisoa; ikopanye le rona ho tsebisoa ha li e-na le tsona.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Mohlala oa molaoli oa ho kenya
Llama ke lelapa la Meta la li-models tsa puo e kholo e fumanehang ka ho bula. Ho kenya Llama ho seva ea hau ea GPU e boloka lipotso le data e le tsa botho.
E sebetsana le li-models tsa 8B ka 24 GB ea VRAM. Li-models tsa 70B ha li lumellane le karete e le 'ngoe ea 24 GB ka litekanyetso tsa quantification tse tloaelehileng.
Lipotso tsa hau le data li lula ho seva ea hau, ntle le ho ngola API ea motho oa boraro.
Senya GGUF le llama.cpp kapa Ollama, kapa boima ba PyTorch bo tloaelehileng.
E ka sebelisoa ho etsa li-modules tsa OpenGL kapa OpenGL ES bakeng sa ho kenya li-module tsa OpenGL.
LLaMA e ka sebelisa NVIDIA GPU ho potlakisa mosebetsi oa eona. VPS.org GPU servers ha li fumanehe ho rekisoa; ikopanya le rona ho tseba ha li le teng. LLaMA ke mosebetsi o potlakileng oa GPU. Qetellong, etsa bonnete ba hore software ea hau e na le CUDA e tšehelitsoeng le hore driver / runtime e lumellana le litlhoko tsa mosebetsi oa LLaMA.
Li-server tsa GPU ha li fumanehe ho rekisoa. Kajeno u ka kenya LLaMA ka qeto ea CPU e tloaelehileng, moo e sebetsang ka potlako ho feta GPU: SSH kahare'me u kenya curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Litakatso tsa VRAM tsa LLaMA li itšetlehile ka mofuta le boholo ba batch; bona litokomane tsa projeke bakeng sa lipalo tsa hona joale.
The GPU priceing e tla phatlalatsoa ha li-server tsa GPU li ka rekisoa. Ikopanye le rona haeba u batla ho tseba ha e etsahala.
Ha ho joalo. Motsamaisi VPS.org o mong le o mong o na le ho kena ka ho feletseng ho root, ka hona o ka kenya lisebelisoa tse ling hammoho le LLaMA ka RAM ea motsamaisi le polokelo.
Motsamaisi oa VPS.org o ka fumana ho kena ka SSH root, ka hona o ka kenya drivers, libs le LLaMA leha o hloka.
Ha ho server e nang le CUDA runtime kapa NVIDIA driver e kentsoeng pele, le servers tsa GPU ha li fumanehe ho rekisoa. U kenya li-versions LLaMA li hloka ho u sebeletsa.
Ha ho joalo. Li-server tsa VPS.org ke li-virtual machines tse tsoelang pele, eseng li-instantane tse sa feleng: li-models tsa LLaMA, li-configurations le data li lula ho SSD storage ea server ho fihlela u li tlosa.
E boloka data e sebetsang ka SSD ea mosebeletsi bakeng sa ho kena ka potlako nakong ea LLaMA e tsamaeang, le ho kopitsa artifacts e felile (mafura, li-generations, embeddings) ho boloka ka ntle ho VPS.org; snapshots le backups ba lula ka ho boloka cluster e tšoanang.
U ka ntlafatsa mosebedisi leha e le ofe oa VPS.org ho ea ka qeto e kholo ho tloha paneleng ea taolo; ho fetola boholo ho e qala hape'me ho kenya LLaMA ho e nka. Mosebedisi oa GPU ha o fumanehe.
Ee. Backups ke ho lefa add-on (ka letsatsi + 30% ea theko ea qeto, e bolokiloe 7 letsatsi; beke le beke + 20%, e bolokiloe 28 letsatsi) le snapshots ke mahala, e leng molemo pele LLaMA e telele e tsamaea. Bothata ba lula ka ho tšoanang ho boloka cluster joaloka server.
Ikopanye le ts'ehetso ka matsatsi a 30 a ho reka ho qala ho kopa ho khutlisa. Liserver tsa GPU ha li romelloe, ka hona ha ho na taelo ea GPU e amanang.
GPU e na le bokhoni bo fokolang. Re bolella ka boima ba mosebetsi oa hau'me re tla u araba ka ho fumaneha le theko.