E-ba le liteko le ho kenya li-models tsa PyTorch ka NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture), ka ho kena ka ho feletseng ho root. Li-server tsa GPU ha li ka rekisoa; ikopanye le rona ho tsebisoa ha li e-na.
$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# Mohlala oa molaoli oa ho kenya
PyTorch ke lifaele tsa ho ithuta ka botebo tse sebelisoang ka bongata. Motsamaisi oa GPU o sebetsa PyTorch ho ithuta le ho lekanya ka GPU, e leng e potlakileng ho feta CPU bakeng sa li-models tse ngata.
U kenya driver ea NVIDIA, CUDA le PyTorch e hahiloeng eo u e hlokang. Qetellong, hlahloba hore na PyTorch e hahiloeng e ntse e tšehetsa Pascal GPUs (kapakanyo ea ho kopitsa 6.1).
Li-aquarium li na le li-aquarium tse nyane le tse kholo, tse nang le li-aquarium tse nyane le tse kholo.
Ea li-notebooks tsa Jupyter ka seva bakeng sa mosebetsi o ikhethileng ka GPU.
Qwalasela tikoloho e le hore e lumellane le litlhoko tsa hau.
PyTorch ka sebelisa NVIDIA GPU ho potlakisa mosebetsi oa eona. VPS.org GPU servers ha li fumanehe ho etsa kopo; ikopanya le rona ho tseba ha ba le. PyTorch ke mosebetsi oa ho ithuta / o hlophisitsoeng hantle. Phetolelo ea mesebetsi e telele e tsamaeang: snapshot VPS ea hau kamehla'me u boloka kopano ea boima bo koetlisitsoeng kantle ho VPS.org.
Li-server tsa GPU ha li fumanehe ho rekisoa. Kajeno u ka kenya PyTorch ka qeto ea CPU e tloaelehileng, moo e sebetsang ka potlako ho feta GPU: SSH kahare'me u kenya pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124.
Ho hlophisoa ka botlalo ha 7B LLM ho hloka ho lekana 24 ho 48 GB; LoRA / QLoRA e loketse 8 ho 16 GB. Ho na le likhetho tse ngata tsa ho hlophisa, ho kenyeletsoa le ho hlophisa ka ho khetheha.
The GPU priceing e tla phatlalatsoa ha li-server tsa GPU li ka rekisoa. Ikopanye le rona haeba u batla ho tseba ha e etsahala.
Ha ho joalo. Motsamaisi VPS.org o mong le o mong o na le ho kena ka ho feletseng ho root, ka hona o ka kenya lisebelisoa tse ling hammoho le PyTorch ka RAM ea motsamaisi le polokelo.
Motsamaisi oa VPS.org o ka fumana ho kena ka SSH root, ka hona o ka kenya drivers, libs le PyTorch leha o hloka.
Ha ho server e nang le CUDA runtime kapa NVIDIA driver e kentsoeng pele, le servers tsa GPU ha li fumanehe ho rekisoa. U kenya li-versions PyTorch li hloka ho u sebeletsa.
Ha ho joalo. Li-server tsa VPS.org ke li-virtual machines tse tsoelang pele, eseng li-instantane tse sa feleng: li-models tsa PyTorch, li-configurations le data li lula ho SSD storage ea server ho fihlela u li tlosa.
E boloka data e sebetsang ka SSD ea mosebeletsi bakeng sa ho kena ka potlako nakong ea PyTorch e tsamaeang, le ho kopitsa artifacts e felile (mafura, li-generations, embeddings) ho boloka ka ntle ho VPS.org; snapshots le backups ba lula ka ho boloka cluster e tšoanang.
U ka ntlafatsa mosebedisi leha e le ofe oa VPS.org ho ea ka qeto e kholo ho tloha paneleng ea taolo; ho fetola boholo ho e qala hape'me ho kenya PyTorch ho e nka. Mosebedisi oa GPU ha o fumanehe.
Ee. Backups ke ho lefa add-on (ka letsatsi + 30% ea theko ea qeto, e bolokiloe 7 letsatsi; beke le beke + 20%, e bolokiloe 28 letsatsi) le snapshots ke mahala, e leng molemo pele PyTorch e telele e tsamaea. Bothata ba lula ka ho tšoanang ho boloka cluster joaloka server.
Ikopanye le ts'ehetso ka matsatsi a 30 a ho reka ho qala ho kopa ho khutlisa. Liserver tsa GPU ha li romelloe, ka hona ha ho na taelo ea GPU e amanang.
GPU e na le bokhoni bo fokolang. Re bolella ka boima ba mosebetsi oa hau'me re tla u araba ka ho fumaneha le theko.