Qed inħejju servers tal-GPU b’NVIDIA Tesla P40 (24 GB VRAM, arkitettura Pascal) biex inħaddmu LLMs open-source bħal Llama, Mistral u Gemma b’Ollama.Servers tal-GPU għadhom ma jistgħux jiġu ordnati; ikkuntattjana biex jiġu nnotifikati meta jkunu.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Eżempju installa kmand
Ollama hija għodda ħafifa biex tmexxi mudelli lingwistiċi kbar fuq il-magna tiegħek stess.Fuq server GPU il-mudell jimxi fuq il-GPU minflok is-CPU, li jagħmel ir-risposti ħafna aktar malajr.
Iġbed Llama, Mistral, Gemma, Phi, Qwen u ħafna mudelli oħra b'kmand wieħed.
Fits 7B għall-mudelli 13B komdu u madwar mudelli 30B meta quantized.70B mudelli ma joqgħodx fuq karta wieħed 24 GB fil-livelli kwantizzazzjoni komuni.
Prompts u data jibqgħu fuq is-server tiegħek, mingħajr sejħiet API ta ’partijiet terzi.
Ollama tesponi endpoint OpenAI-kompatibbli li ħafna klijenti eżistenti jistgħu jużaw.
Ollama jistgħu jużaw NVIDIA GPU biex iħaffu l-ħidma tiegħu. VPS.org GPU servers mhumiex disponibbli għall-ordni għadhom; ikkuntattjana biex tisma meta dawn huma. Ollama huwa primarjament LLM-inferenza / chat tagħbija tax-xogħol. Inti se tixtieq veloċi aċċess każwali jaqra minn disk għall-memorja u biżżejjed VRAM għall-mudell flimkien mal-kontest tieqa.
Illum tista’ tħaddem Ollama fuq pjan tas-CPU regolari, fejn jaħdem ferm aktar bil-mod minn fuq GPU: SSH fil u tmexxi curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.Is-servers tal-GPU mhumiex disponibbli biex jiġu ordnati għadhom.
LLM inferenza VRAM skala b'parametri mudell: mudell 7B jeħtieġ bejn wieħed u ieħor 5 sa 8 GB ta VRAM u mudell 13B bejn wieħed u ieħor 10 sa 14 GB, filwaqt li mudelli 70B-klassi jeħtieġu diversi GPUs jew kwantifikazzjoni tqila.
L-ipprezzar tal-GPU se jiġi ppubblikat meta s-servers tal-GPU jkunu jistgħu jiġu ordnati.Ikkuntattjana jekk trid tisma' meta dan jiġri.
Kull server VPS.org jiġi b'aċċess għerq sħiħ, sabiex inti tista tmexxi għodod oħra flimkien Ollama fi ħdan RAM u l-ħażna tas-server.
Kull server VPS.org jiġi b'aċċess SSH għerq sħiħ, sabiex inti tista tinstalla s-sewwieqa, libreriji u Ollama madankollu għandek bżonn.
Le. L-ebda server jiġi b'runtime CUDA jew NVIDIA sewwieq installat minn qabel, u servers GPU mhumiex disponibbli biex tordna għadhom. Inti tinstalla l-verżjonijiet Ollama bżonnijiet lilek innifsek.
Iva. servers VPS.org huma magni virtwali persistenti, mhux każijiet ephemeral: Ollama mudelli, configs u data jibqgħu fuq il-ħażna SSD tas-server sakemm inti tħassarhom.
Żomm id-data tax-xogħol fuq l-SSD tas-server għall-aċċess veloċi matul runs Ollama, u kopja artifatti lest (piżijiet, ġenerazzjonijiet, embeddings) għall-ħażna barra VPS.org; snapshots u backups jibqgħu fuq il-grupp ħażna istess.
Tista’ taġġorna kwalunkwe server VPS.org għal pjan ikbar mill-pannell tal-kontroll; il-bidla fid-daqs jerġa’ jibda u l-installazzjoni Ollama tiegħek iġġorr fuq.Servers GPU għadhom mhumiex disponibbli.
Iva. Backups huma miżjura add-on (kuljum +30% tal-prezz tal-pjan, miżmuma 7 ijiem; kull ġimgħa +20%, miżmuma 28 jum) u snapshots huma ħielsa, li huwa utli qabel Ollama twil runs. it-tnejn jibqgħu fuq l-istess cluster ħażna bħala s-server.
Ikkuntattja l-appoġġ fi żmien 30 jum mill-ewwel xiri tiegħek biex titlob rifużjoni.Servers GPU mhumiex mibjugħa għadhom, għalhekk l-ebda ordni GPU hija involuta.
GPU kapaċità hija limitata.Tgħidilna dwar il-piż tax-xogħol tiegħek u aħna se jwieġbu b'disponibbiltà u l-ipprezzar.