O loʻo matou saunia GPU servers ma se NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) mo le faʻagaioiga o LLMs faʻaonapo nei e pei o Llama, Mistral ma Gemma ma Ollama. GPU servers e le mafai ona faʻatauina; faʻafesoʻotaʻi mai ia i matou e faʻafesoʻotaʻi pe a fai.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Faʻataʻitaʻiga o le faʻapipiʻiina o le upu
O Ollama o se meafaigaluega e faigofie mo le faʻagaioia o ituaiga gagana tele i luga o lau masini lava ia. I se 'au'aunaga GPU e faʻagaioia le ituaiga i le GPU e le o le CPU, lea e faʻaititia ai le vave o tali.
Faʻaoso Llama, Mistral, Gemma, Phi, Qwen ma isi ituaiga ma se tasi le faatonuga.
E fetaui lelei 7B i 13B ituaiga ma le faʻaaloalo ma i le va o ituaiga 30B pe a faʻavasegaina. 70B ituaiga e le fetaui i se 24 GB card i le faʻavasegaina masani o le faʻavasegaina.
E nofo pea fesili ma faʻamatalaga i lau 'au'aunaga, e leai ni talosaga API a isi vaega.
Ollama faʻaalia se OpenAI-faʻafetaui endpoint e mafai ona faʻaaogaina e le tele o tagata faʻatau e iai nei.
Ollama mafai ona faaaoga se NVIDIA GPU e faateleina ai lona galuega. VPS.org GPU servers e le o avanoa mo le talosaga ae; faafesootai i tatou e iloa pe a latou o. Ollama o se LLM-inference / chat workload. O le a e manaʻomia le vave-faʻavasegaina o le faitauga mai le disk i le memory ma le VRAM e mafai ai mo le model plus context window.
E le o avanoa le GPU servers e fa'atau ai. I le aso nei e mafai ona e fa'agaioia le Ollama i luga o se fuafuaga CPU masani, e fa'aititia ai le saoasaoa nai lo le GPU: SSH i ma fa'agaioia le curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inference VRAM scales with model parameters: a 7B model needs approximately 5 to 8 GB of VRAM and a 13B model approximately 10 to 14 GB, while 70B-class models need several GPUs or heavy quantification.
O le tau o le GPU o le a faalauiloaina pe a mafai ona talosagaina le GPU. Faafesootai mai pe afai e te manaʻo e iloa pe a tupu lea mea.
O le a uma le VPS.org server e maua ai le avanoa atoa i le root, ina ia mafai ai ona e faʻagaioia isi mea faigaluega e faʻatasi ai ma le Ollama i totonu o le RAM ma le teuina o le server.
O le a oʻo mai i soʻo se 'au'aunaga VPS.org ma le faʻaaogaina atoa o le SSH root, ina ia mafai ai ona e faʻapipiʻi drivers, libraries ma Ollama e ui lava e te manaʻomia.
E leai. E leai se 'au'aunaga e oʻo mai ma se CUDA runtime poʻo se NVIDIA driver preinstalled, ma e le o avanoa le GPU servers e faʻatau ai. E te faʻapipiʻi le lomiga e manaʻomia e Ollama oe lava.
O le VPS.org servers o masini faʻaonapo nei, e le o ni faʻataʻitaʻiga e le tumau: Ollama models, configs ma le faʻamatalaga e nofo i le SSD storage o le server seia e faʻasaʻo i latou.
Ia teuina le faʻaaogaina o faʻamatalaga i luga o le SSD o le 'au'aunaga mo le faʻaaogaina vave i le taimi o le Ollama, ma faʻapipiʻi faʻaiuga o meatotino (maualuga, tausaga, embeddings) i le teuina i fafo atu o le VPS.org; ata ma backups nofo i le tutusa teuina cluster.
E mafai ona e faaleleia so'o se 'au'aunaga VPS.org i se fuafuaga tele mai le paneli pule; o le fa'aititia o le tele e toe amataina ai ma o le a fa'asolo atu lau' upega tafa'ilagi Ollama. E le o avanoa nei 'au'aunaga GPU.
O backups o se totogi faaopoopo (i aso uma +30% o le tau o le fuafuaga, na teuina 7 aso; vaiaso +20%, na teuina 28 aso) ma snapshots e saoloto, lea e aoga i luma o le umi Ollama e tatala. E lua nofo i le tutusa pusa teuina o le faitotoʻa.
Faafesootai le lagolago i totonu o aso 30 o lau muamua faʻatau e talosagaina se toe totogi. E leʻi faʻatauina foi GPU servers, o lea e le o aofia ai se GPU order.
E faʻatapulaʻaina le gafatia o le GPU. Taʻu mai ia i matou e uiga i lau mamafa o galuega ma o le a matou tali atu i le avanoa ma le tau.