TensorFlow နှင့် Keras လေ့ကျင့်ရေးနှင့် NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) အပေါ်အယူအဆကို run. GPU ဆာဗာများအခုထိ orderable မဟုတ်ကြဘူး; သူတို့ကဖြစ်ကြသည်အခါအသိပေးရန်ကျွန်တော်တို့ကိုဆက်သွယ်ပါ။
$ pip install tensorflow[and-cuda]
# သွင်းရန် အမိန့်ကို ဥပမာ
TensorFlow Google ရဲ့ဖွင့်-source ကိုစက်သင်ယူမှု framework ကိုဖြစ်ပါသည်. တစ်ဦး GPU ဆာဗာပေါ်တွင်, TensorFlow CUDA မှတဆင့် GPU အပေါ်၎င်း၏လုပ်ငန်းစဉ်များကို runs.
TensorFlow CUDA ကနေတဆင့် GPU ကိုအသုံးပြုသည်တစ်ချိန်ကသင်တစ်ဦးကိုက်ညီသောမောင်းသူနှင့် CUDA version ကို install လုပ်ပါ.
GPU backend ၏ထိပ်တွင် Keras API နှင့်အတူပုံစံများကိုတည်ဆောက်ပါ။
သင်၏ကိုယ်ပိုင်ဆာဗာပေါ်တွင် TensorBoard နှင့်အတူလေ့ကျင့်ခန်းကိုစောင့်ကြည့်ပါ။
TensorFlow ဝန်ဆောင်မှုနှင့်အတူလေ့ကျင့်ထားသောမော်ဒယ်များကိုဝန်ဆောင်မှုပေးပါ။
TensorFlow ၎င်း၏အလုပ်ကိုမြန်ဆန်စေရန် NVIDIA GPU ကိုအသုံးပြုနိုင်သည်. VPS.org GPU servers များအစဉ်မရရှိနိုင်; သူတို့ကဖြစ်ကြသည်ဆိုပါကကြားရကျွန်တော်တို့ကိုဆက်သွယ်ပါ. TensorFlow တစ်ခုလေ့ကျင့်ရေး / fine-tuning workload ဖြစ်ပါတယ်။
GPU servers များအစဉ်အဆက်အသေးစိတ်ကိုမရရှိနိုင်. ယနေ့သင်သည်ပုံမှန် CPU ကိုစီမံကိန်းအပေါ် TensorFlow Run နိုင်ပါတယ်, ဒါဟာတစ်ဦး GPU ကိုထက်အတော်လေးနှေးအလုပ်လုပ်တဲ့နေရာမှာ: SSH ကိုနှင့် pip install tensorflow[and-cuda] Run.
လေ့ကျင့်ရေး VRAM ကို optimizer ပြည်နယ်နှင့်အတူ activation များမှအုပ်ချုပ်သည်။ 7B LLM ၏အပြည့်အဝ fine-tuning ~ 24-48 GB ကိုလိုအပ်သည်; LoRA / QLoRA 8-16 GB ကို fits ။ ကျွန်ုပ်တို့၏ Tesla P40 သည်သေတ္တာမှ LoRA-class fine-tuning ကိုထောက်ခံသည်; ကြီးမားသောမော်ဒယ်များ၏အပြည့်အဝလေ့ကျင့်ရေးသည် multi-GPU ကိုလိုအပ်သည်။
GPU servers များမှာယူနိုင်သည့်အခါ GPU ဈေးနှုန်းထုတ်ပြန်ပါလိမ့်မယ်။ သင်ကဖြစ်ပျက်တဲ့အခါနားထောင်ချင်တယ်ဆိုရင်ကျွန်တော်တို့ကိုဆက်သွယ်ပါ။
ဟုတ်ကဲ့. အားလုံး VPS.org server ကိုအပြည့်အဝ root access နဲ့လာ, သငျသညျ server ကိုရဲ့ RAM ကိုနှင့်သိုလှောင်မှုအတွင်း TensorFlow အတူတကွအခြား tools တွေကို run နိုင်ပါတယ်ဒါကြောင့်.
အားလုံး VPS.org server ကိုအပြည့်အဝ root SSH access ကိုနှင့်အတူလာ, ဒါကြောင့်သင် drivers များကို install လုပ်နိုင်ပါတယ်, library များနှင့် TensorFlow သင်လိုအပ်သောမည်သို့ပင်ဆိုစေကာမူ.
ဟုတ်ကဲ့. ဆာဗာတစ်ခု CUDA runtime သို့မဟုတ် NVIDIA driver ကို preinstalled နှင့်အတူလာမည်မဟုတ်, နှင့် GPU ကိုဆာဗာများအစဉ်မပြတ်မရရှိနိုင်ကြသေး. သင်သည် version များကို TensorFlow ကို install လုပ်ပါသင့်ကိုယ်ပိုင်လိုအပ်ချက်.
ဟုတ်ကဲ့. VPS.org servers များတည်တံ့ virtual စက်တွေဖြစ်ကြသည်, မ ephemeral ဥပမာ: TensorFlow ပုံစံများ, configs နှင့် data ကိုသင်သူတို့ကိုဖျက်ပစ်မတိုင်မီ server ရဲ့ SSD သိုလှောင်မှုအပေါ်နေထိုင်.
TensorFlow စီးစဉ်အတွင်းမြန်ဆန် access ကိုများအတွက် server ရဲ့ SSD ပေါ်မှာအလုပ်လုပ်ဒေတာထိန်းသိမ်းထား, နှင့်အပြီးသတ် artifacts (အလေးချိန်, မျိုးဆက်များ, embeddings) ကို VPS.org အပြင်သိုလှောင်မှုသို့ copy; snapshots နှင့် backups များတူညီသောသိုလှောင်မှု cluster ပေါ်တွင်နေထိုင်.
သင်ထိန်းချုပ်မှု panel ကိုမှကြီးမားတဲ့အစီအစဉ်ကိုမည်သည့် VPS.org server ကို upgrade လုပ်နိုင်ပါတယ်; resize restarts ဒါနဲ့သင့်ရဲ့ TensorFlow install ကျော်သယ်ဆောင်. GPU servers များအခုထိရရှိနိုင်မဟုတ်ကြပါဘူး.
ဟုတ်ကဲ့. Backups များပေးဆောင် add-on ဖြစ်ကြသည် (နေ့စဉ် +30% စီမံကိန်း၏စျေးနှုန်း, ထိန်းသိမ်းထား7ရက်; အပတ်စဉ် +20%, ထိန်းသိမ်းထား 28 ရက်) နှင့် snapshots များအခမဲ့ဖြစ်ကြသည်, ကြာ TensorFlow စီးနင်းမတိုင်မီအသုံးဝင်သော. နှစ်ဦးစလုံး server ကိုအဖြစ်တူညီသော storage cluster ပေါ်တွင်နေထိုင်.
အတွင်းကထောက်ခံမှုဆက်သွယ်ပါ 30 ပြန်လည်ပေးချေမှုတောင်းဆိုရန်သင်၏ပထမဦးဆုံးဝယ်ယူရက်ပေါင်း. GPU servers များအခုထိရောင်းချခြင်းမရှိသေးပါ, ဒါကြောင့်မ GPU ကိုအမိန့်ပါဝင်သည်.
GPU စွမ်းဆောင်ရည်ကန့်သတ်ထားသည်။ သင်၏အလုပ်အကိုင်အကြောင်းကိုပြောဆိုပါနှင့်ကျွန်ုပ်တို့သည်ရရှိနိုင်မှုနှင့်စျေးနှုန်းများနှင့်အတူတုံ့ပြန်လိမ့်မည်။