NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) ပေါ်တွင် PyTorch ပုံစံများကိုလေ့ကျင့်သင်ကြားပြီး run ပါ။ GPU servers များမှာအသေးစိတ်အချက်အလက်များမရှိသေးပါ။
$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# သွင်းရန် အမိန့်ကို ဥပမာ
PyTorch အများအပြားအသုံးပြု deep learning framework ကိုဖြစ်ပါသည်။ တစ် GPU server ကိုအများဆုံးမော်ဒယ်များအတွက် CPU ကိုအပေါ်ထက်အများကြီးပိုမြန်တဲ့ GPU အပေါ် PyTorch လေ့ကျင့်ရေးနှင့် inferrence လည်ပတ်.
သင် NVIDIA ယာဉ်မောင်း install လုပ်ပါ, CUDA နှင့်သင်လိုအပ်သော PyTorch တည်ဆောက်. သင်၏ PyTorch တည်ဆောက်အစဉ်အဆက် Pascal GPUs ကိုထောက်ခံကြောင်းစစ်ဆေးပါ (compute စွမ်းရည် 6.1).
အသေးစားနှင့်အလတ်စားအရွယ်အစားမော်ဒယ်များအတွက်အခန်း, LoRA fine-tuning နှင့်အလတ်စား batch အရွယ်အစား။
GPU ပေါ်တွင်အပြန်အလှန်အလုပ်လုပ်ရန်ဆာဗာပေါ်တွင် Jupyter မှတ်စုစာအုပ်များကို run
သင့်ပရောဂျက်လိုအပ်ချက်အတိုင်းပတ်ဝန်းကျင်ကိုတိကျစွာသတ်မှတ်ပါ
PyTorch ၎င်း၏အလုပ်ကိုမြန်ဆန်စေရန် NVIDIA GPU ကိုအသုံးပြုနိုင်သည်. VPS.org GPU servers များအစဉ်မရရှိနိုင်; သူတို့ကဖြစ်ကြသည်ဆိုပါကကြားရကျွန်တော်တို့ကိုဆက်သွယ်ပါ. PyTorch တစ်ခုလေ့ကျင့်ရေး / fine-tuning workload ဖြစ်ပါတယ်။
GPU servers များအစဉ်အဆက်အသေးစိတ်ကိုမရရှိနိုင်. ယနေ့သင်သည်ပုံမှန် CPU ကိုစီမံကိန်းအပေါ် PyTorch Run နိုင်ပါတယ်, ဒါဟာတစ်ဦး GPU ကိုထက်အတော်လေးနှေးအလုပ်လုပ်တဲ့နေရာမှာ: SSH ကိုနှင့် pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 Run.
လေ့ကျင့်ရေး VRAM ကို optimizer ပြည်နယ်နှင့်အတူ activation များမှအုပ်ချုပ်သည်။ 7B LLM ၏အပြည့်အဝ fine-tuning ~ 24-48 GB ကိုလိုအပ်သည်; LoRA / QLoRA 8-16 GB ကို fits ။ ကျွန်ုပ်တို့၏ Tesla P40 သည်သေတ္တာမှ LoRA-class fine-tuning ကိုထောက်ခံသည်; ကြီးမားသောမော်ဒယ်များ၏အပြည့်အဝလေ့ကျင့်ရေးသည် multi-GPU ကိုလိုအပ်သည်။
GPU servers များမှာယူနိုင်သည့်အခါ GPU ဈေးနှုန်းထုတ်ပြန်ပါလိမ့်မယ်။ သင်ကဖြစ်ပျက်တဲ့အခါနားထောင်ချင်တယ်ဆိုရင်ကျွန်တော်တို့ကိုဆက်သွယ်ပါ။
ဟုတ်ကဲ့. အားလုံး VPS.org server ကိုအပြည့်အဝ root access နဲ့လာ, သငျသညျ server ကိုရဲ့ RAM ကိုနှင့်သိုလှောင်မှုအတွင်း PyTorch အတူတကွအခြား tools တွေကို run နိုင်ပါတယ်ဒါကြောင့်.
အားလုံး VPS.org server ကိုအပြည့်အဝ root SSH access ကိုနှင့်အတူလာ, ဒါကြောင့်သင် drivers များကို install လုပ်နိုင်ပါတယ်, library များနှင့် PyTorch သင်လိုအပ်သောမည်သို့ပင်ဆိုစေကာမူ.
ဟုတ်ကဲ့. ဆာဗာတစ်ခု CUDA runtime သို့မဟုတ် NVIDIA driver ကို preinstalled နှင့်အတူလာမည်မဟုတ်, နှင့် GPU ကိုဆာဗာများအစဉ်မပြတ်မရရှိနိုင်ကြသေး. သင်သည် version များကို PyTorch ကို install လုပ်ပါသင့်ကိုယ်ပိုင်လိုအပ်ချက်.
ဟုတ်ကဲ့. VPS.org servers များတည်တံ့ virtual စက်တွေဖြစ်ကြသည်, မ ephemeral ဥပမာ: PyTorch ပုံစံများ, configs နှင့် data ကိုသင်သူတို့ကိုဖျက်ပစ်မတိုင်မီ server ရဲ့ SSD သိုလှောင်မှုအပေါ်နေထိုင်.
PyTorch စီးစဉ်အတွင်းမြန်ဆန် access ကိုများအတွက် server ရဲ့ SSD ပေါ်မှာအလုပ်လုပ်ဒေတာထိန်းသိမ်းထား, နှင့်အပြီးသတ် artifacts (အလေးချိန်, မျိုးဆက်များ, embeddings) ကို VPS.org အပြင်သိုလှောင်မှုသို့ copy; snapshots နှင့် backups များတူညီသောသိုလှောင်မှု cluster ပေါ်တွင်နေထိုင်.
သင်ထိန်းချုပ်မှု panel ကိုမှကြီးမားတဲ့အစီအစဉ်ကိုမည်သည့် VPS.org server ကို upgrade လုပ်နိုင်ပါတယ်; resize restarts ဒါနဲ့သင့်ရဲ့ PyTorch install ကျော်သယ်ဆောင်. GPU servers များအခုထိရရှိနိုင်မဟုတ်ကြပါဘူး.
ဟုတ်ကဲ့. Backups များပေးဆောင် add-on ဖြစ်ကြသည် (နေ့စဉ် +30% စီမံကိန်း၏စျေးနှုန်း, ထိန်းသိမ်းထား7ရက်; အပတ်စဉ် +20%, ထိန်းသိမ်းထား 28 ရက်) နှင့် snapshots များအခမဲ့ဖြစ်ကြသည်, ကြာ PyTorch စီးနင်းမတိုင်မီအသုံးဝင်သော. နှစ်ဦးစလုံး server ကိုအဖြစ်တူညီသော storage cluster ပေါ်တွင်နေထိုင်.
အတွင်းကထောက်ခံမှုဆက်သွယ်ပါ 30 ပြန်လည်ပေးချေမှုတောင်းဆိုရန်သင်၏ပထမဦးဆုံးဝယ်ယူရက်ပေါင်း. GPU servers များအခုထိရောင်းချခြင်းမရှိသေးပါ, ဒါကြောင့်မ GPU ကိုအမိန့်ပါဝင်သည်.
GPU စွမ်းဆောင်ရည်ကန့်သတ်ထားသည်။ သင်၏အလုပ်အကိုင်အကြောင်းကိုပြောဆိုပါနှင့်ကျွန်ုပ်တို့သည်ရရှိနိုင်မှုနှင့်စျေးနှုန်းများနှင့်အတူတုံ့ပြန်လိမ့်မည်။