Ea TensorFlow le ho ithuta ho kenya Keras le ho etsa liteko ka NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Li-server tsa GPU ha li ka rekisoa; ikopanye le rona ho tseba hore na li tla etsoa joang.
$ pip install tensorflow[and-cuda]
# Mohlala oa molaoli oa ho kenya
TensorFlow ke lifaele tsa ho ithuta ka li-machine tsa Google tse nang le lifaele tse bulehileng. Ka motsamaisi oa GPU, TensorFlow e sebetsa ka GPU ka CUDA.
TensorFlow e sebelisa GPU ka CUDA ha u kenya driver e lumellanang le CUDA e hlophisitsoeng.
E-ba le li-models ka Keras API ka holimo ho GPU backend.
Tsebisa ho ithuta ka TensorBoard ho seva ea hau.
Li-tensors li sebelisoa ho hlalosa li-tensors tsa li-multiplex.
TensorFlow ka sebelisa NVIDIA GPU ho potlakisa mosebetsi oa eona. VPS.org GPU servers ha li fumanehe ho etsa kopo; ikopanya le rona ho tseba ha ba le. TensorFlow ke mosebetsi oa ho ithuta / o hlophisitsoeng hantle. Phetolelo ea mesebetsi e telele e tsamaeang: snapshot VPS ea hau kamehla'me u boloka kopano ea boima bo koetlisitsoeng kantle ho VPS.org.
Li-server tsa GPU ha li fumanehe ho rekisoa. Kajeno u ka kenya TensorFlow ka qeto ea CPU e tloaelehileng, moo e sebetsang ka potlako ho feta GPU: SSH kahare'me u kenya pip install tensorflow[and-cuda].
Ho hlophisoa ka botlalo ha 7B LLM ho hloka ho lekana 24 ho 48 GB; LoRA / QLoRA e loketse 8 ho 16 GB. Ho na le likhetho tse ngata tsa ho hlophisa, ho kenyeletsoa le ho hlophisa ka ho khetheha.
The GPU priceing e tla phatlalatsoa ha li-server tsa GPU li ka rekisoa. Ikopanye le rona haeba u batla ho tseba ha e etsahala.
Ha ho joalo. Motsamaisi VPS.org o mong le o mong o na le ho kena ka ho feletseng ho root, ka hona o ka kenya lisebelisoa tse ling hammoho le TensorFlow ka RAM ea motsamaisi le polokelo.
Motsamaisi oa VPS.org o ka fumana ho kena ka SSH root, ka hona o ka kenya drivers, libs le TensorFlow leha o hloka.
Ha ho server e nang le CUDA runtime kapa NVIDIA driver e kentsoeng pele, le servers tsa GPU ha li fumanehe ho rekisoa. U kenya li-versions TensorFlow li hloka ho u sebeletsa.
Ha ho joalo. Li-server tsa VPS.org ke li-virtual machines tse tsoelang pele, eseng li-instantane tse sa feleng: li-models tsa TensorFlow, li-configurations le data li lula ho SSD storage ea server ho fihlela u li tlosa.
E boloka data e sebetsang ka SSD ea mosebeletsi bakeng sa ho kena ka potlako nakong ea TensorFlow e tsamaeang, le ho kopitsa artifacts e felile (mafura, li-generations, embeddings) ho boloka ka ntle ho VPS.org; snapshots le backups ba lula ka ho boloka cluster e tšoanang.
U ka ntlafatsa mosebedisi leha e le ofe oa VPS.org ho ea ka qeto e kholo ho tloha paneleng ea taolo; ho fetola boholo ho e qala hape'me ho kenya TensorFlow ho e nka. Mosebedisi oa GPU ha o fumanehe.
Ee. Backups ke ho lefa add-on (ka letsatsi + 30% ea theko ea qeto, e bolokiloe 7 letsatsi; beke le beke + 20%, e bolokiloe 28 letsatsi) le snapshots ke mahala, e leng molemo pele TensorFlow e telele e tsamaea. Bothata ba lula ka ho tšoanang ho boloka cluster joaloka server.
Ikopanye le ts'ehetso ka matsatsi a 30 a ho reka ho qala ho kopa ho khutlisa. Liserver tsa GPU ha li romelloe, ka hona ha ho na taelo ea GPU e amanang.
GPU e na le bokhoni bo fokolang. Re bolella ka boima ba mosebetsi oa hau'me re tla u araba ka ho fumaneha le theko.