NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) ပေါ်တွင် Self-host Meta ၏ Llama ပုံစံများ။ ပြည့်စုံသောတိကျမှုနှင့်အကြီးစားပုံစံများရှိသောအခါ 8B ပုံစံများသို့လိုက်ဖက်သည်။ GPU servers များသည်အစဉ်မပြတ်မဟုတ်ပါ၊ သူတို့သည်အချိန်တွင်အသိပေးရန်ကျွန်ုပ်တို့အားဆက်သွယ်ပါ။
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# သွင်းရန် အမိန့်ကို ဥပမာ
Llama သည် Meta ၏ မိသားစုဖြစ်ပြီး လွတ်လပ်စွာရရှိနိုင်သော ဘာသာစကား အမျိုးအစားကြီးများဖြစ်သည်။ သင်၏ကိုယ်ပိုင် GPU ဆာဗာပေါ်တွင် Llama ကို Run ခြင်းသည် မေးမြန်းချက်များနှင့် ဒေတာများကို ပုဂ္ဂလိက သိမ်းဆည်းထားသည်။
VRAM ၏ 24 GB ပေါ်တွင် 8B ပုံစံများ Runs ။ 70B ပုံစံများရိုးရှင်းသော quantization အဆင့်များမှာတစ်ဦးတည်းသော 24 GB ကဒ်ပေါ်တွင်မ fit ။
သင်၏ prompts နှင့် data များကိုသင်၏ server ပေါ်တွင်နေထိုင်, အဘယ်သူမျှမတတိယပါတီ API ကိုခေါ်ဆိုမှုနှင့်အတူ.
llama.cpp သို့မဟုတ် Ollama နှင့်အတူ GGUF ကိုအသုံးပြုပါ၊ သို့မဟုတ် ပင်ရင်း PyTorch အလေးချိန်များ။
Ollama သို့မဟုတ် OpenAI-ကိုက်ညီ endpoint အတွက် llama.cpp ဆာဗာနှင့်အတူပုံစံများကိုဝန်ဆောင်မှုပေးပါ။
LLaMA ၎င်း၏အလုပ်ကိုမြန်နှုန်းမြှင့်ဖို့ NVIDIA GPU ကိုအသုံးပြုနိုင်ပါတယ်. VPS.org GPU ဆာဗာများအစဉ်မရရှိနိုင်; သူတို့ကဖြစ်ကြသည်အခါကြားရကျွန်တော်တို့ကိုဆက်သွယ်ပါ. LLaMA တစ်ခုလုံး GPU-accelerated workload ဖြစ်ပါတယ်။ သင်၏ software ကို CUDA ထောက်ခံမှုရှိပြီးသင်၏ driver ကို / runtime version များ LLaMA အတွက် workload လိုအပ်ချက်များကိုကိုက်ညီကြောင်းသေချာအောင်လုပ်ပါ။
GPU servers များအစဉ်အဆက်အသေးစိတ်ကိုမရရှိနိုင်. ယနေ့သင်သည်ပုံမှန် CPU ကိုစီမံကိန်းအပေါ် LLaMA Run နိုင်ပါတယ်, ဒါဟာတစ်ဦး GPU ကိုထက်အတော်လေးနှေးအလုပ်လုပ်တဲ့နေရာမှာ: SSH ကိုနှင့် curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 Run.
LLaMA အတွက် VRAM လိုအပ်ချက်များကိုမော်ဒယ်နှင့် batch အရွယ်အစားပေါ် မူတည်. လက်ရှိပုံရိပ်များအတွက်ပရောဂျက်စာရွက်စာတမ်းများကိုစစ်ဆေး.
GPU servers များမှာယူနိုင်သည့်အခါ GPU ဈေးနှုန်းထုတ်ပြန်ပါလိမ့်မယ်။ သင်ကဖြစ်ပျက်တဲ့အခါနားထောင်ချင်တယ်ဆိုရင်ကျွန်တော်တို့ကိုဆက်သွယ်ပါ။
ဟုတ်ကဲ့. အားလုံး VPS.org server ကိုအပြည့်အဝ root access နဲ့လာ, သငျသညျ server ကိုရဲ့ RAM ကိုနှင့်သိုလှောင်မှုအတွင်း LLaMA အတူတကွအခြား tools တွေကို run နိုင်ပါတယ်ဒါကြောင့်.
အားလုံး VPS.org server ကိုအပြည့်အဝ root SSH access ကိုနှင့်အတူလာ, ဒါကြောင့်သင် drivers များကို install လုပ်နိုင်ပါတယ်, library များနှင့် LLaMA သင်လိုအပ်သောမည်သို့ပင်ဆိုစေကာမူ.
ဟုတ်ကဲ့. ဆာဗာတစ်ခု CUDA runtime သို့မဟုတ် NVIDIA driver ကို preinstalled နှင့်အတူလာမည်မဟုတ်, နှင့် GPU ကိုဆာဗာများအစဉ်မပြတ်မရရှိနိုင်ကြသေး. သင်သည် version များကို LLaMA ကို install လုပ်ပါသင့်ကိုယ်ပိုင်လိုအပ်ချက်.
ဟုတ်ကဲ့. VPS.org servers များတည်တံ့ virtual စက်တွေဖြစ်ကြသည်, မ ephemeral ဥပမာ: LLaMA ပုံစံများ, configs နှင့် data ကိုသင်သူတို့ကိုဖျက်ပစ်မတိုင်မီ server ရဲ့ SSD သိုလှောင်မှုအပေါ်နေထိုင်.
LLaMA စီးစဉ်အတွင်းမြန်ဆန် access ကိုများအတွက် server ရဲ့ SSD ပေါ်မှာအလုပ်လုပ်ဒေတာထိန်းသိမ်းထား, နှင့်အပြီးသတ် artifacts (အလေးချိန်, မျိုးဆက်များ, embeddings) ကို VPS.org အပြင်သိုလှောင်မှုသို့ copy; snapshots နှင့် backups များတူညီသောသိုလှောင်မှု cluster ပေါ်တွင်နေထိုင်.
သင်ထိန်းချုပ်မှု panel ကိုမှကြီးမားတဲ့အစီအစဉ်ကိုမည်သည့် VPS.org server ကို upgrade လုပ်နိုင်ပါတယ်; resize restarts ဒါနဲ့သင့်ရဲ့ LLaMA install ကျော်သယ်ဆောင်. GPU servers များအခုထိရရှိနိုင်မဟုတ်ကြပါဘူး.
ဟုတ်ကဲ့. Backups များပေးဆောင် add-on ဖြစ်ကြသည် (နေ့စဉ် +30% စီမံကိန်း၏စျေးနှုန်း, ထိန်းသိမ်းထား7ရက်; အပတ်စဉ် +20%, ထိန်းသိမ်းထား 28 ရက်) နှင့် snapshots များအခမဲ့ဖြစ်ကြသည်, ကြာ LLaMA စီးနင်းမတိုင်မီအသုံးဝင်သော. နှစ်ဦးစလုံး server ကိုအဖြစ်တူညီသော storage cluster ပေါ်တွင်နေထိုင်.
အတွင်းကထောက်ခံမှုဆက်သွယ်ပါ 30 ပြန်လည်ပေးချေမှုတောင်းဆိုရန်သင်၏ပထမဦးဆုံးဝယ်ယူရက်ပေါင်း. GPU servers များအခုထိရောင်းချခြင်းမရှိသေးပါ, ဒါကြောင့်မ GPU ကိုအမိန့်ပါဝင်သည်.
GPU စွမ်းဆောင်ရည်ကန့်သတ်ထားသည်။ သင်၏အလုပ်အကိုင်အကြောင်းကိုပြောဆိုပါနှင့်ကျွန်ုပ်တို့သည်ရရှိနိုင်မှုနှင့်စျေးနှုန်းများနှင့်အတူတုံ့ပြန်လိမ့်မည်။