Servi mudelli AI minn NVIDIA Tesla P40 (24 GB VRAM, arkitettura Pascal): LLMs, mudelli immaġni u tbassir oħra.GPU servers mhumiex ordni għadhom; ikkuntattjana biex jiġu nnotifikati meta dawn huma.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Eżempju installa kmand
Inferenza AI tfisser li tmexxi mudelli mħarrġa biex jipproduċu tbassir.GPU inferenza server iżomm mudell mgħobbija fuq il-GPU u tweġibiet talbiet ħafna aktar malajr minn CPU.
Il-GPU jgħaddi mis-server tiegħek waħdu, għalhekk il-latency ma tkunx affettwata minn impjiegi GPU ta ’klijenti oħra.
Uża Ollama, llama.cpp, Triton jew l-API tiegħek stess. Xi oqfsa, bħal vLLM, jeħtieġu GPUs aktar ġodda mill-Pascal P40.
Mexxi diversi servers wara l-ibbilanċjar tat-tagħbija tiegħek stess jekk GPU waħda ma tkunx biżżejjed.
Iservu mudell wieħed ta ’daqs medju jew diversi żgħar.
AI Inference jistgħu jużaw NVIDIA GPU biex iħaffu l-ħidma tiegħu. VPS.org servers GPU mhumiex disponibbli għall-ordni għadhom; ikkuntattjana biex tisma meta dawn huma. AI Inference huwa tagħbija tax-xogħol ġenerali GPU-aċċellerat. kun żgur softwer tiegħek għandu appoġġ CUDA u li tiegħek driver / runtime verżjonijiet jaqblu mal-ħtiġijiet tagħbija tax-xogħol għall AI Inference.
Illum tista’ tħaddem AI Inference fuq pjan tas-CPU regolari, fejn jaħdem ferm aktar bil-mod minn fuq GPU: SSH fil u tmexxi pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.Is-servers tal-GPU mhumiex disponibbli biex jiġu ordnati għadhom.
VRAM bżonnijiet għall-AI Inference jiddependu fuq il-mudell u d-daqs tal-lott; iċċekkja d-dokumentazzjoni tal-proġett għall-figuri kurrenti.
L-ipprezzar tal-GPU se jiġi ppubblikat meta s-servers tal-GPU jkunu jistgħu jiġu ordnati.Ikkuntattjana jekk trid tisma' meta dan jiġri.
Kull server VPS.org jiġi b'aċċess għerq sħiħ, sabiex inti tista tmexxi għodod oħra flimkien AI Inference fi ħdan RAM u l-ħażna tas-server.
Kull server VPS.org jiġi b'aċċess SSH għerq sħiħ, sabiex inti tista tinstalla s-sewwieqa, libreriji u AI Inference madankollu għandek bżonn.
Le. L-ebda server jiġi b'runtime CUDA jew NVIDIA sewwieq installat minn qabel, u servers GPU mhumiex disponibbli biex tordna għadhom. Inti tinstalla l-verżjonijiet AI Inference bżonnijiet lilek innifsek.
Iva. servers VPS.org huma magni virtwali persistenti, mhux każijiet ephemeral: AI Inference mudelli, configs u data jibqgħu fuq il-ħażna SSD tas-server sakemm inti tħassarhom.
Żomm id-data tax-xogħol fuq l-SSD tas-server għall-aċċess veloċi matul runs AI Inference, u kopja artifatti lest (piżijiet, ġenerazzjonijiet, embeddings) għall-ħażna barra VPS.org; snapshots u backups jibqgħu fuq il-grupp ħażna istess.
Tista’ taġġorna kwalunkwe server VPS.org għal pjan ikbar mill-pannell tal-kontroll; il-bidla fid-daqs jerġa’ jibda u l-installazzjoni AI Inference tiegħek iġġorr fuq.Servers GPU għadhom mhumiex disponibbli.
Iva. Backups huma miżjura add-on (kuljum +30% tal-prezz tal-pjan, miżmuma 7 ijiem; kull ġimgħa +20%, miżmuma 28 jum) u snapshots huma ħielsa, li huwa utli qabel AI Inference twil runs. it-tnejn jibqgħu fuq l-istess cluster ħażna bħala s-server.
Ikkuntattja l-appoġġ fi żmien 30 jum mill-ewwel xiri tiegħek biex titlob rifużjoni.Servers GPU mhumiex mibjugħa għadhom, għalhekk l-ebda ordni GPU hija involuta.
GPU kapaċità hija limitata.Tgħidilna dwar il-piż tax-xogħol tiegħek u aħna se jwieġbu b'disponibbiltà u l-ipprezzar.