ကျနော်တို့ NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) နှင့်အတူ GPU servers များကို Llama, Ollama နှင့်အတူ Mistral နှင့် Gemma ကဲ့သို့သော open-source LLMs များလုပ်ဆောင်ရန်အတွက်ပြင်ဆင်နေသည်။ GPU servers များသည်အစဉ်အဆက်မရရှိနိုင်ပါ။ သူတို့ဖြစ်တဲ့အခါအသိပေးရန်ကျွန်ုပ်တို့အားဆက်သွယ်ပါ။
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# သွင်းရန် အမိန့်ကို ဥပမာ
Ollama သင့်ရဲ့ကိုယ်ပိုင်စက်ပေါ်တွင်ကြီးမားသောဘာသာစကားပုံစံများ run ဖို့အလင်း tool ကိုဖြစ်ပါသည်. တစ် GPU server ကိုအပေါ်, ပုံစံ CPU ကိုအစား GPU ကိုပေါ်တွင် runs, တုံ့ပြန်မှုအများကြီးပိုမြန်စေသည်.
တစ်ခုတည်းသောအမိန့်နှင့်အတူ Llama, Mistral, Gemma, Phi, Qwen နှင့်အခြားများစွာသောမော်ဒယ်များဆွဲ.
7B ကို 13B ပုံစံများအဆင်ပြေစွာနှင့် quanized အခါ 30B ပုံစံများပတ်လည် fits. 70B ပုံစံများတစ်ခုပေါ်တွင် fit မဟုတ်ပါ 24 GB ကဒ်များရိုးရှင်း quantization အဆင့်များမှာ.
Prompts နှင့် data များကိုသင်၏ server ပေါ်တွင်နေထိုင်, အဘယ်သူမျှမတတိယပါတီ API ကိုခေါ်ဆိုမှုနှင့်အတူ.
Ollama အများအပြားရှိပြီးသားဖောက်သည်များအသုံးပြုနိုင်သည်သော OpenAI-ကိုက်ညီ endpoint ကိုပြသသည်။
Ollama ၎င်း၏အလုပ်ကိုမြန်ဆန်စေရန် NVIDIA GPU ကိုအသုံးပြုနိုင်သည်။ VPS.org GPU servers များအစဉ်မရရှိနိုင်သေး; သူတို့ကဖြစ်ကြသည်အခါကြားရဖို့ကျွန်တော်တို့ကိုဆက်သွယ်ပါ။ Ollama သည်အဓိကအားဖြင့် LLM-inference / chat workload တစ်ခုဖြစ်သည်။ သင်သည် disk မှ memory သို့မြန်ဆန်စွာ random-access reads နှင့် model plus context window အတွက်လုံလောက်သော VRAM ကိုလိုချင်လိမ့်မည်။
GPU servers များအစဉ်အဆက်အသေးစိတ်ကိုမရရှိနိုင်. ယနေ့သင်သည်ပုံမှန် CPU ကိုစီမံကိန်းအပေါ် Ollama Run နိုင်ပါတယ်, ဒါဟာတစ်ဦး GPU ကိုထက်အတော်လေးနှေးအလုပ်လုပ်တဲ့နေရာမှာ: SSH ကိုနှင့် curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 Run.
LLM ကောက်ချက် VRAM ကိုမော်ဒယ် parameters တွေနဲ့စကေး. 7B မော်ဒယ်လိုအပ် ~ 5-8 GB ကို VRAM, 13B ~ 10-14 GB ကို, 70B multi-GPU ကိုသို့မဟုတ် quantization လိုအပ်ပါတယ်. ကျွန်တော်တို့ရဲ့ 24 GB ကို Tesla P40 သက်တောင့်သက်သာ INT8 quantization နှင့်အတူအပြည့်အဝတိကျမှုနှင့် 30B-class ကိုမော်ဒယ်များမှာ 7B-13B မော်ဒယ်များ run နိုင်ပါတယ်.
GPU servers များမှာယူနိုင်သည့်အခါ GPU ဈေးနှုန်းထုတ်ပြန်ပါလိမ့်မယ်။ သင်ကဖြစ်ပျက်တဲ့အခါနားထောင်ချင်တယ်ဆိုရင်ကျွန်တော်တို့ကိုဆက်သွယ်ပါ။
ဟုတ်ကဲ့. အားလုံး VPS.org server ကိုအပြည့်အဝ root access နဲ့လာ, သငျသညျ server ကိုရဲ့ RAM ကိုနှင့်သိုလှောင်မှုအတွင်း Ollama အတူတကွအခြား tools တွေကို run နိုင်ပါတယ်ဒါကြောင့်.
အားလုံး VPS.org server ကိုအပြည့်အဝ root SSH access ကိုနှင့်အတူလာ, ဒါကြောင့်သင် drivers များကို install လုပ်နိုင်ပါတယ်, library များနှင့် Ollama သင်လိုအပ်သောမည်သို့ပင်ဆိုစေကာမူ.
ဟုတ်ကဲ့. ဆာဗာတစ်ခု CUDA runtime သို့မဟုတ် NVIDIA driver ကို preinstalled နှင့်အတူလာမည်မဟုတ်, နှင့် GPU ကိုဆာဗာများအစဉ်မပြတ်မရရှိနိုင်ကြသေး. သင်သည် version များကို Ollama ကို install လုပ်ပါသင့်ကိုယ်ပိုင်လိုအပ်ချက်.
ဟုတ်ကဲ့. VPS.org servers များတည်တံ့ virtual စက်တွေဖြစ်ကြသည်, မ ephemeral ဥပမာ: Ollama ပုံစံများ, configs နှင့် data ကိုသင်သူတို့ကိုဖျက်ပစ်မတိုင်မီ server ရဲ့ SSD သိုလှောင်မှုအပေါ်နေထိုင်.
Ollama စီးစဉ်အတွင်းမြန်ဆန် access ကိုများအတွက် server ရဲ့ SSD ပေါ်မှာအလုပ်လုပ်ဒေတာထိန်းသိမ်းထား, နှင့်အပြီးသတ် artifacts (အလေးချိန်, မျိုးဆက်များ, embeddings) ကို VPS.org အပြင်သိုလှောင်မှုသို့ copy; snapshots နှင့် backups များတူညီသောသိုလှောင်မှု cluster ပေါ်တွင်နေထိုင်.
သင်ထိန်းချုပ်မှု panel ကိုမှကြီးမားတဲ့အစီအစဉ်ကိုမည်သည့် VPS.org server ကို upgrade လုပ်နိုင်ပါတယ်; resize restarts ဒါနဲ့သင့်ရဲ့ Ollama install ကျော်သယ်ဆောင်. GPU servers များအခုထိရရှိနိုင်မဟုတ်ကြပါဘူး.
ဟုတ်ကဲ့. Backups များပေးဆောင် add-on ဖြစ်ကြသည် (နေ့စဉ် +30% စီမံကိန်း၏စျေးနှုန်း, ထိန်းသိမ်းထား7ရက်; အပတ်စဉ် +20%, ထိန်းသိမ်းထား 28 ရက်) နှင့် snapshots များအခမဲ့ဖြစ်ကြသည်, ကြာ Ollama စီးနင်းမတိုင်မီအသုံးဝင်သော. နှစ်ဦးစလုံး server ကိုအဖြစ်တူညီသော storage cluster ပေါ်တွင်နေထိုင်.
အတွင်းကထောက်ခံမှုဆက်သွယ်ပါ 30 ပြန်လည်ပေးချေမှုတောင်းဆိုရန်သင်၏ပထမဦးဆုံးဝယ်ယူရက်ပေါင်း. GPU servers များအခုထိရောင်းချခြင်းမရှိသေးပါ, ဒါကြောင့်မ GPU ကိုအမိန့်ပါဝင်သည်.
GPU စွမ်းဆောင်ရည်ကန့်သတ်ထားသည်။ သင်၏အလုပ်အကိုင်အကြောင်းကိုပြောဆိုပါနှင့်ကျွန်ုပ်တို့သည်ရရှိနိုင်မှုနှင့်စျေးနှုန်းများနှင့်အတူတုံ့ပြန်လိမ့်မည်။