E-ba le li-models tsa AI ho tloha NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture): LLMs, li-models tsa litšoantšo le li-predictions tse ling. Li-server tsa GPU ha li ka rekisoa; ikopanya le rona ho tsejoa ha li le teng.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Mohlala oa molaoli oa ho kenya
Ho utloahala ha AI ho bolela ho sebetsana le li-models tse tšeptjoang ho etsa liteko. Motsamaisi oa ho utloahala ha GPU o boloka li-models tse kenang ka GPU'me o araba lipotso ka potlako ho feta CPU.
GPU e romelloa ho seva ea hau feela, ka hona latency ha e amane le mesebetsi ea GPU ea bareki ba bang.
Sebelisa Ollama, llama.cpp, Triton kapa API ea hau ea hau. Li-frameworks tse ling, joalo ka vLLM, li hloka GPU tse ncha ho feta Pascal P40.
Ea li-server tse ngata ka morao ho load balancer ea hau haeba GPU e le 'ngoe e sa lekana.
E na le li-moles tse ngata tse nyane kapa tse kholo.
AI Inference e ka sebelisa NVIDIA GPU ho potlakisa mosebetsi oa eona. VPS.org GPU servers ha li fumanehe ho rekisoa; ikopanya le rona ho tseba ha li le teng. AI Inference ke mosebetsi o potlakileng oa GPU. Qetellong, etsa bonnete ba hore software ea hau e na le CUDA e tšehelitsoeng le hore driver / runtime e lumellana le litlhoko tsa mosebetsi oa AI Inference.
Li-server tsa GPU ha li fumanehe ho rekisoa. Kajeno u ka kenya AI Inference ka qeto ea CPU e tloaelehileng, moo e sebetsang ka potlako ho feta GPU: SSH kahare'me u kenya pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Litakatso tsa VRAM tsa AI Inference li itšetlehile ka mofuta le boholo ba batch; bona litokomane tsa projeke bakeng sa lipalo tsa hona joale.
The GPU priceing e tla phatlalatsoa ha li-server tsa GPU li ka rekisoa. Ikopanye le rona haeba u batla ho tseba ha e etsahala.
Ha ho joalo. Motsamaisi VPS.org o mong le o mong o na le ho kena ka ho feletseng ho root, ka hona o ka kenya lisebelisoa tse ling hammoho le AI Inference ka RAM ea motsamaisi le polokelo.
Motsamaisi oa VPS.org o ka fumana ho kena ka SSH root, ka hona o ka kenya drivers, libs le AI Inference leha o hloka.
Ha ho server e nang le CUDA runtime kapa NVIDIA driver e kentsoeng pele, le servers tsa GPU ha li fumanehe ho rekisoa. U kenya li-versions AI Inference li hloka ho u sebeletsa.
Ha ho joalo. Li-server tsa VPS.org ke li-virtual machines tse tsoelang pele, eseng li-instantane tse sa feleng: li-models tsa AI Inference, li-configurations le data li lula ho SSD storage ea server ho fihlela u li tlosa.
E boloka data e sebetsang ka SSD ea mosebeletsi bakeng sa ho kena ka potlako nakong ea AI Inference e tsamaeang, le ho kopitsa artifacts e felile (mafura, li-generations, embeddings) ho boloka ka ntle ho VPS.org; snapshots le backups ba lula ka ho boloka cluster e tšoanang.
U ka ntlafatsa mosebedisi leha e le ofe oa VPS.org ho ea ka qeto e kholo ho tloha paneleng ea taolo; ho fetola boholo ho e qala hape'me ho kenya AI Inference ho e nka. Mosebedisi oa GPU ha o fumanehe.
Ee. Backups ke ho lefa add-on (ka letsatsi + 30% ea theko ea qeto, e bolokiloe 7 letsatsi; beke le beke + 20%, e bolokiloe 28 letsatsi) le snapshots ke mahala, e leng molemo pele AI Inference e telele e tsamaea. Bothata ba lula ka ho tšoanang ho boloka cluster joaloka server.
Ikopanye le ts'ehetso ka matsatsi a 30 a ho reka ho qala ho kopa ho khutlisa. Liserver tsa GPU ha li romelloe, ka hona ha ho na taelo ea GPU e amanang.
GPU e na le bokhoni bo fokolang. Re bolella ka boima ba mosebetsi oa hau'me re tla u araba ka ho fumaneha le theko.