O le a oʻo mai i le taimi nei: NVIDIA Tesla P40, 24 GB VRAM

AI/ML Faʻatonuina GPU Server

Faʻatonu ma faʻatonu ni metotia i luga o se NVIDIA Tesla P40 (24 GB VRAM, faʻatonu Pascal). E sili ona lelei mo le faʻatonu LoRA ma metotia laiti. E le mafai ona faʻatauina le GPU servers; faʻafesoʻotaʻi mai ia i matou e faʻailoa mai pe a mafai.

$ pip install torch transformers datasets accelerate && python train.py
# Faʻataʻitaʻiga o le faʻapipiʻiina o le upu

O le a le AI Training i luga o se GPU VPS?

E manaʻomia e le aʻoaʻoina o ni faʻataʻitaʻiga AI le faʻavasegaina faʻatasi e maua e GPU. E tuʻuina atu e se 'au'aunaga GPU se GPU mo au lava galuega aʻoaʻoga.

AI Training i luga o se VPS.org GPU server

GPU atoa

O se Tesla P40 ma le 24 GB VRAM, na auina atu i lau 'au'aunaga ma e le' o fa'asoa.

Faʻatonu

PyTorch, TensorFlow, JAX po o so o se faiga e lagolagoina pea GPU Pascal.

Teuina SSD

Tuʻu faʻamaumauga, faʻavasegaga ma faʻamaumauga o faʻamaumauga i luga o le SSD storage server.

Faʻaliliuina o SSH

Toe faʻaaogaina atoa o le root. Faʻatonu lau siosiomaga aʻoaʻoga e pei ona e manaʻomia.

Faʻaaogaina o mataupu lauiloa AI Training

Faʻatonu lelei o le faʻataʻitaʻiga
Faʻaliliuina o le aʻoga
Faʻavasegaina o le faʻataʻitaʻiga
Faʻatonu o le Hyperparameter
Faʻavasegaina o faʻamatalaga
Lora adapters

Faʻamatalaga o le GPU

GPUNVIDIA Tesla P40
VRAM24 GB GDDR5
CUDA Colours3,840
FP3212 TFLOPS
INT847 TOPS
Memoria346 GB/s
FaʻaputugaPascal (GP102)
FaʻasolosoloPCIe Passthrough

Faʻamatalaga Faʻatonu

O le a le AI Training i luga o se GPU VPS?

+

AI Training mafai ona faaaoga se NVIDIA GPU e vave ai lona galuega. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Training o se galuega faatino lautele GPU-faʻaititia. Faʻamautinoa o loʻo lagolagoina e lau polokalama le CUDA ma o lau faila faila / runtime e fetaui ma le manaʻoga o le galuega faatino mo AI Training.

Faʻafefea ona ou faʻatulagaina le AI Training i luga o se GPU VPS?

+

E le o avanoa le GPU servers e fa'atau ai. I le aso nei e mafai ona e fa'agaioia le AI Training i luga o se fuafuaga CPU masani, e fa'aititia ai le saoasaoa nai lo le GPU: SSH i ma fa'agaioia le pip install torch transformers datasets accelerate && python train.py.

O le a le tele o le VRAM e manaʻomia ai aʻu mo le AI Training?

+

E manaʻomia e le VRAM mo le AI Training ona faʻalagolago lea i le ituaiga ma le tele o le vaega; siaki le tusi lesona o le poloketi mo ni faʻamatalaga o le taimi nei.

O le a le tau o se GPU server mo AI Training?

+

O le tau o le GPU o le a faalauiloaina pe a mafai ona talosagaina le GPU. Faafesootai mai pe afai e te manaʻo e iloa pe a tupu lea mea.

E mafai ona ou faʻagaioia isi mea faigaluega i le AI Training?

+

O le a uma le VPS.org server e maua ai le avanoa atoa i le root, ina ia mafai ai ona e faʻagaioia isi mea faigaluega e faʻatasi ai ma le AI Training i totonu o le RAM ma le teuina o le server.

E mafai ona ou maua le root atoa i le AI Training GPU VPS?

+

O le a oʻo mai i soʻo se 'au'aunaga VPS.org ma le faʻaaogaina atoa o le SSH root, ina ia mafai ai ona e faʻapipiʻi drivers, libraries ma AI Training e ui lava e te manaʻomia.

E faʻafaigata e le VPS.org le faʻapipiʻiina muamua o CUDA mo le AI Training?

+

E leai. E leai se 'au'aunaga e oʻo mai ma se CUDA runtime poʻo se NVIDIA driver preinstalled, ma e le o avanoa le GPU servers e faʻatau ai. E te faʻapipiʻi le lomiga e manaʻomia e AI Training oe lava.

E tumau laʻu AI Training GPU VPS i le va o seʻi?

+

O le VPS.org servers o masini faʻaonapo nei, e le o ni faʻataʻitaʻiga e le tumau: AI Training models, configs ma le faʻamatalaga e nofo i le SSD storage o le server seia e faʻasaʻo i latou.

O fea e tatau ona ou teuina ai faamatalaga mo loʻu AI Training workload?

+

Ia teuina le faʻaaogaina o faʻamatalaga i luga o le SSD o le 'au'aunaga mo le faʻaaogaina vave i le taimi o le AI Training, ma faʻapipiʻi faʻaiuga o meatotino (maualuga, tausaga, embeddings) i le teuina i fafo atu o le VPS.org; ata ma backups nofo i le tutusa teuina cluster.

E mafai ona ou faʻaititia loʻu AI Training GPU VPS i le lumanaʻi?

+

E mafai ona e faaleleia so'o se 'au'aunaga VPS.org i se fuafuaga tele mai le paneli pule; o le fa'aititia o le tele e toe amataina ai ma o le a fa'asolo atu lau' upega tafa'ilagi AI Training. E le o avanoa nei 'au'aunaga GPU.

E avanoa le backup mo loʻu GPU VPS?

+

O backups o se totogi faaopoopo (i aso uma +30% o le tau o le fuafuaga, na teuina 7 aso; vaiaso +20%, na teuina 28 aso) ma snapshots e saoloto, lea e aoga i luma o le umi AI Training e tatala. E lua nofo i le tutusa pusa teuina o le faitotoʻa.

E mafai ona ou maua se toe totogi?

+

Faafesootai le lagolago i totonu o aso 30 o lau muamua faʻatau e talosagaina se toe totogi. E leʻi faʻatauina foi GPU servers, o lea e le o aofia ai se GPU order.

E te manaʻo e faʻatino le AI Training i luga o se 'au'aunaga GPU?

E faʻatapulaʻaina le gafatia o le GPU. Taʻu mai ia i matou e uiga i lau mamafa o galuega ma o le a matou tali atu i le avanoa ma le tau.