Traukinys ir paleisti PyTorch modelius NVIDIA Tesla P40 (24 GB VRAM, Pascal architektūra), su visa root access. GPU serveriai dar nėra užsakomas; susisiekite su mumis, kad būtų pranešta, kai jie yra.
$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# Pavyzdžio įdiegimo komanda
PyTorch yra plačiai naudojamas giliojo mokymosi sistema. GPU serveris veikia PyTorch mokymo ir išvadų dėl GPU, kuris yra daug greičiau nei dėl procesoriaus daugumai modelių.
Įdiekite NVIDIA tvarkyklę, CUDA ir PyTorch, kad jums reikia. Patikrinkite, ar jūsų PyTorch statyti vis dar palaiko Pascal GPU (kompiuterių pajėgumas 6.1).
Kambarys mažiems ir vidutinio dydžio modeliams, LORA, koreguojamas ir vidutinio dydžio partijomis.
Paleisti Jupyter užrašų knygeles serveryje interaktyviam darbui GPU.
Konfigūruokite aplinką tiksliai taip, kaip reikia projektui.
PyTorch can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. PyTorch is a training / fine-tuning workload. Plan for long-running jobs: snapshot your VPS regularly and keep a copy of trained weights outside VPS.org.
GPU serverius dar galima užsisakyti. Šiandien galite paleisti PyTorch pagal reguliarų procesoriaus planą, kuriame jis veikia daug lėčiau nei GPU: SSH įjungti ir paleisti pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124.
Mokymas VRAM dominuoja optimizatoriaus būsena plius aktyvacijos. Visas patikslinimas 7B LLM reikia maždaug 24-48 GB; LoRA / QLora tinka 8-16 GB.
Kainos GPU bus paskelbtos, kai GPU serveriai bus užsakyti. Jei norite, susisiekite su mumis, kai tai įvyks.
Taip. Kiekvienas VPS.org serveris ateina su visiška root prieiga, todėl jūs galite paleisti kitus įrankius kartu su PyTorch serverio RAM ir saugojimo.
Kiekvienas VPS.org serveris ateina su pilna šaknis SSH prieigą, todėl jūs galite įdiegti tvarkyklės, bibliotekos ir PyTorch, tačiau jums reikia.
Ne. Nėra serverio su CUDA darbo laiku arba NVIDIA tvarkykle, įdiegta, o GPU serveriai dar nėra prieinami užsisakyti. Jūs turite įdiegti versijas PyTorch.
Taip. VPS.org serveriai yra nuolat virtualios mašinos, o ne efemeral incidentai: PyTorch modeliai, konfigūracijos ir duomenys likti ant serverio SSD saugojimo, kol jūs juos ištrinti.
Laikyti serverio SSD darbo duomenis, kad būtų galima greitai pasiekti PyTorch paleidimo metu, ir nukopijuoti baigtus artefaktus (svorius, kartas, įterpimus) į saugojimą išorėje, išorėje, VPS.org; vaizdai ir atsarginės kopijos lieka tame pačiame saugojimo klaselyje.
Galite atnaujinti bet kurį VPS.org serverį į didesnį planą iš valdymo pulto; jo dydis atnaujinamas, o jūsų PyTorch įdiegimas atlieka perėjimus. GPU serverių dar nėra.
Taip. Atsarginės dalys yra apmokamas papildomas (dienos +30% plano kainos, saugomi 7 dienas; kas savaitę +20%, laikomi 28 dienas) ir vaizdai yra nemokamas, tai yra naudinga prieš ilgai PyTorch bėgti. Abu likti ant to paties saugojimo klasterio kaip serveris.
Kontaktinė parama per 30 dienų nuo pirmojo pirkimo prašyti grąžinti. GPU serveriai dar nėra parduodami, todėl nėra GPU užsakymo.
GPU pajėgumas ribotas. Praneškite mums apie savo darbo krūvį ir atsakysime į tai, ar bus galima naudotis ir ar bus nustatyta kaina.