Self-host Meta's Llama mudelli fuq NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitettura). Adattat għall-mudelli 8B fil-preċiżjoni sħiħa u mudelli akbar meta kwantizzat. GPU servers mhumiex ordni għadhom; ikkuntattjana biex jiġu nnotifikati meta dawn huma.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Eżempju installa kmand
Meta tuża Llama fuq is-server tal-GPU tiegħek, il-prompts u d-data jibqgħu privati.
Mudelli 8B fuq 24 GB ta VRAM.mudelli 70B ma joqogħdux fuq karta 24 GB wieħed fil-livelli kwantizzazzjoni komuni.
Prompts tiegħek u d-data jibqgħu fuq is-server tiegħek, bl-ebda sejħiet API parti terza.
Uża GGUF ma llama.cpp jew Ollama, jew nattivi PyTorch piżijiet.
Iservu mudelli ma Ollama jew is-server llama.cpp għal endpoint OpenAI kompatibbli.
LLaMA jistgħu jużaw NVIDIA GPU biex iħaffu l-ħidma tiegħu. VPS.org servers GPU mhumiex disponibbli għall-ordni għadhom; ikkuntattjana biex tisma meta dawn huma. LLaMA huwa tagħbija tax-xogħol ġenerali GPU-aċċellerat. kun żgur softwer tiegħek għandu appoġġ CUDA u li tiegħek driver / runtime verżjonijiet jaqblu mal-ħtiġijiet tagħbija tax-xogħol għall LLaMA.
Illum tista’ tħaddem LLaMA fuq pjan tas-CPU regolari, fejn jaħdem ferm aktar bil-mod minn fuq GPU: SSH fil u tmexxi curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.Is-servers tal-GPU mhumiex disponibbli biex jiġu ordnati għadhom.
VRAM bżonnijiet għall-LLaMA jiddependu fuq il-mudell u d-daqs tal-lott; iċċekkja d-dokumentazzjoni tal-proġett għall-figuri kurrenti.
L-ipprezzar tal-GPU se jiġi ppubblikat meta s-servers tal-GPU jkunu jistgħu jiġu ordnati.Ikkuntattjana jekk trid tisma' meta dan jiġri.
Kull server VPS.org jiġi b'aċċess għerq sħiħ, sabiex inti tista tmexxi għodod oħra flimkien LLaMA fi ħdan RAM u l-ħażna tas-server.
Kull server VPS.org jiġi b'aċċess SSH għerq sħiħ, sabiex inti tista tinstalla s-sewwieqa, libreriji u LLaMA madankollu għandek bżonn.
Le. L-ebda server jiġi b'runtime CUDA jew NVIDIA sewwieq installat minn qabel, u servers GPU mhumiex disponibbli biex tordna għadhom. Inti tinstalla l-verżjonijiet LLaMA bżonnijiet lilek innifsek.
Iva. servers VPS.org huma magni virtwali persistenti, mhux każijiet ephemeral: LLaMA mudelli, configs u data jibqgħu fuq il-ħażna SSD tas-server sakemm inti tħassarhom.
Żomm id-data tax-xogħol fuq l-SSD tas-server għall-aċċess veloċi matul runs LLaMA, u kopja artifatti lest (piżijiet, ġenerazzjonijiet, embeddings) għall-ħażna barra VPS.org; snapshots u backups jibqgħu fuq il-grupp ħażna istess.
Tista’ taġġorna kwalunkwe server VPS.org għal pjan ikbar mill-pannell tal-kontroll; il-bidla fid-daqs jerġa’ jibda u l-installazzjoni LLaMA tiegħek iġġorr fuq.Servers GPU għadhom mhumiex disponibbli.
Iva. Backups huma miżjura add-on (kuljum +30% tal-prezz tal-pjan, miżmuma 7 ijiem; kull ġimgħa +20%, miżmuma 28 jum) u snapshots huma ħielsa, li huwa utli qabel LLaMA twil runs. it-tnejn jibqgħu fuq l-istess cluster ħażna bħala s-server.
Ikkuntattja l-appoġġ fi żmien 30 jum mill-ewwel xiri tiegħek biex titlob rifużjoni.Servers GPU mhumiex mibjugħa għadhom, għalhekk l-ebda ordni GPU hija involuta.
GPU kapaċità hija limitata.Tgħidilna dwar il-piż tax-xogħol tiegħek u aħna se jwieġbu b'disponibbiltà u l-ipprezzar.