Nwapụta na-agbanye PyTorch móòdù na NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture), na nbanye zuru ezu nke uruti. GPU sava ndị ahụ enweghị ike ịhazi ha; kpọtụrụ anyị ka a mara mgbe ha ga-eme.
$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# Nhazi iwu
PyTorch bụ fréèmù ọmụmụ ihe nke a na-ejikarị n'ụzọ dị ukwuu. GPU sava na-agbanye PyTorch nkụzi na nghọta na GPU, nke dị n'ụzọ dị n'ụzọ karịa CPU maka ọtụtụ móòdù.
I webatala NVIDIA draịva, CUDA nakwa PyTorch mbido ịchọrọ. Nnyocha na PyTorch mbido gị na-akwado Pascal GPUs (n'asụsụ 6.1).
Ebe maka obere na n'etiti-ụdị model, LoRA fine-tuning na moderate batch sizes.
Bido Jupyter notebooks na sava maka ọrụ n'ime onwe na GPU.
Nhazi n'ime imemme dịka ọbụla ihenhọrọ gị chọrọ.
PyTorch nwere ike iji NVIDIA GPU iji malite ọrụ ya. VPS.org GPU ndị ọrụ anaghị adị maka iwu; kpọtụrụ anyị ka ịmara mgbe ha bụ. PyTorch bụ nkuzi / fine-tuning ọrụ. Nhazi maka ọrụ ogologo oge: snapshot VPS gị na-emekarị ma chebe ndepụta nke ihe n'ime VPS.org.
GPU sava anaghị adị maka ịnye n'oge a. Ugbu a ị nwere ike igwu PyTorch na CPU n'omume, ebe ọ na-arụ ọrụ n'ụzọ dị n'ebe ahụ karịa na GPU: SSH na-agba ọsọ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124.
VRAM nke nkuzi bụ nke a na-achịkwa site na ọnọdụ optimaịlụ na-arụ ọrụ. N'ozuzu ya, ọ dị mkpa ka 7B LLM dị ka 24 ruo 48 GB; LoRA / QLoRA dị n'ime 8 ruo 16 GB.
GPU price ga-egosipụta mgbe GPU sava nwere ike ịhazi. Kpọnye anyị ma ọ bụrụ na ịchọrọ ịnụ mgbe nke ahụ ga-eme.
Ee. VPS.org sava ọbụla na-abịa na ikikembanye zuru ezu nke uruti, ya mere ị nwere ike ijikwa ihenhọrọ ndị ọzọ n'otu oge na PyTorch n'ime RAM na nchekwa nke sava ahụ.
VPS.org sava ọbụla na-abịa na ikikembanye SSH zuru ezu nke nwuo, yabụ ị nwere ike ịwụnye draịva, laịbịara na PyTorch dịka ịchọrọ.
Ọ dịghị. Enweghị sava na-abịa na CUDA runtime mọọbụ NVIDIA draịva nke e mepụtara n'ihu, na GPU sava ndị ahụ enweghị ike ịhazi ha. I na-etinye ụdị PyTorch chọrọ gị onwe gị.
Ee. VPS.org sava bụ ndị na-adịgide virulụ igwe, ọ bụghị ihenhọrọ ndị na-adịgide: PyTorch model, configurations na data na-adị na sava SSD nchekwa ruo mgbe ị na-ehichapụ ha.
Kwụsị ọrụ data na sava SSD maka nbanye n'oge PyTorch na-arụ ọrụ, na debata artifaktị echepụtara (n'obere, n'ọdịnihu, na-ekpuchi) ka nchekwa n'ebe okpuru VPS.org; snapshot na backups nọ na nchekwa cluster ahụ.
I nwere ike ịkwalite ọbụla VPS.org sava ka ọbụla n'ime ntọala ndị ahụ site na paneelụ nlekọta; mmegharịa nha na-ebido ya nakwa ịwụnye PyTorch gị na-ebido. GPU sava anaghị adị ugbua.
Ee. Backups bụ a paid add-on (abalị +30% nke atụmatụ ọnụahịa, echekwara ụbọchị 7; izu +20%, echekwara ụbọchị 28) na snapshots bụ free, nke bụ uru tupu ogologo PyTorch na-arụ ọrụ. Ha abụọ na-adị na nchekwa cluster dị ka sava.
Kpọnye nkwado n'ime ụbọchị 30 nke ịzụta mbụ gị iji bipụta nkwụghachi. GPU sava anaghị ere ere, yabụ ọ dịghị GPU n'ime iwu ahụ.
GPU nwere ike dị obere. Kpọnye anyị banyere ọrụ gị ma anyị ga-aza na ọbụla na ọnụọgụgụ.