Sebetsa ka ho ngola molumo le video ka OpenAI Whisper ka NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture), le molumo o bolokiloe ho seva ea hau. Sebaka sa GPU ha se na ho oela; ikopanya le rona ho tsejoa ha se le teng.
$ pip install openai-whisper && whisper audio.mp3 --model large-v3 --device cuda
# Mohlala oa molaoli oa ho kenya
OpenAI Whisper ke mofuta oa ho utloisisa puo ea open-source. Ho e kenya ka GPU ho potlakile ho feta ho CPU'me ho boloka molumo oa hau ho sebatli sa hau sa hau.
Whisper e sebetsa ka potlako ho GPU ho feta ho CPU.
Li-transponders li ka hokahanya le ho hokahanya li-transponders tse 99.
Li-audio li lula li le sebakeng sa hau sa marang-rang.
E sebetsa ka li-library tsa audio tse kholo ka li-batch.
Whisper e ka sebelisa NVIDIA GPU ho potlakisa mosebetsi oa eona. VPS.org li-server tsa GPU ha li fumanehe ho rekisoa; ikopanye le rona ho tseba ha li e-na le tsona. Whisper ke mosebetsi oa audio / puo. CPU-side I/O e bohlokoa joalo ka GPU compute, ka hona etsa bonnete ba hore lebelo la ho bala la disk e lula e le le leng le ho sebetsana le batch.
Li-server tsa GPU ha li fumanehe ho rekisoa. Kajeno u ka kenya Whisper ka qeto ea CPU e tloaelehileng, moo e sebetsang ka potlako ho feta GPU: SSH kahare'me u kenya pip install openai-whisper && whisper audio.mp3 --model large-v3 --device cuda.
Li-models tsa audio ka kakaretso li na le VRAM e nyane. Whisper Large e ka hokahanngoa ka li-GB tse 10 tsa VRAM,'me li-models tsa TTS li hloka 2 ho isa ho li-GB tse 8.
The GPU priceing e tla phatlalatsoa ha li-server tsa GPU li ka rekisoa. Ikopanye le rona haeba u batla ho tseba ha e etsahala.
Ha ho joalo. Motsamaisi VPS.org o mong le o mong o na le ho kena ka ho feletseng ho root, ka hona o ka kenya lisebelisoa tse ling hammoho le Whisper ka RAM ea motsamaisi le polokelo.
Motsamaisi oa VPS.org o ka fumana ho kena ka SSH root, ka hona o ka kenya drivers, libs le Whisper leha o hloka.
Ha ho server e nang le CUDA runtime kapa NVIDIA driver e kentsoeng pele, le servers tsa GPU ha li fumanehe ho rekisoa. U kenya li-versions Whisper li hloka ho u sebeletsa.
Ha ho joalo. Li-server tsa VPS.org ke li-virtual machines tse tsoelang pele, eseng li-instantane tse sa feleng: li-models tsa Whisper, li-configurations le data li lula ho SSD storage ea server ho fihlela u li tlosa.
E boloka data e sebetsang ka SSD ea mosebeletsi bakeng sa ho kena ka potlako nakong ea Whisper e tsamaeang,'me e kopitsa artifacts e felile (li-weights, generations, embeddings) ho boloka kantle ho VPS.org; snapshots le backups li lula ka cluster e ts'oanang ea ho boloka.
U ka ntlafatsa mosebedisi leha e le ofe oa VPS.org ho ea ka qeto e kholo ho tloha paneleng ea taolo; ho fetola boholo ho e qala hape'me ho kenya Whisper ho e nka. Mosebedisi oa GPU ha o fumanehe.
Ee. Backups ke ho lefa add-on (ka letsatsi + 30% ea theko ea qeto, e bolokiloe 7 letsatsi; beke le beke + 20%, e bolokiloe 28 letsatsi) le snapshots ke mahala, e leng molemo pele Whisper e telele e tsamaea. Bothata ba lula ka ho tšoanang ho boloka cluster joaloka server.
Ikopanye le ts'ehetso ka matsatsi a 30 a ho reka ho qala ho kopa ho khutlisa. Liserver tsa GPU ha li romelloe, ka hona ha ho na taelo ea GPU e amanang.
GPU e na le bokhoni bo fokolang. Re bolella ka boima ba mosebetsi oa hau'me re tla u araba ka ho fumaneha le theko.