Faʻatonu ni faʻataʻitaʻiga AI mai se NVIDIA Tesla P40 (24 GB VRAM, faʻatonu Pascal): LLMs, faʻataʻitaʻiga ata ma isi faʻataʻitaʻiga. E le mafai ona faʻatauina le GPU servers; faʻafesoʻotaʻi mai ia i matou e faʻailoa mai pe a fai.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Faʻataʻitaʻiga o le faʻapipiʻiina o le upu
O le faʻaaogaina o le AI e faʻasino i le faʻaaogaina o ni faʻataʻitaʻiga aʻoaʻoina e faia ai taunuuga. O se GPU inference server e teuina ai se faʻataʻitaʻiga i le GPU ma tali ai fesili e sili atu le vave nai lo se CPU.
E fa'asolo atu le GPU i lau 'au'aunaga, ina ia le afaina ai le leiloa i galuega GPU a isi tagata fa'aoga.
Faʻaaoga Ollama, llama.cpp, Triton poʻo lau lava API. O nisi o faiga, pei o le vLLM, e manaʻomia GPUs fou nai lo le Pascal P40.
Ta'u atu i nisi o le 'au'aunaga i tua o lau lava fa'atupeina o le mamafa pe a le lelei se GPU.
Faʻafiafiaina se faʻataʻitaʻiga o le va fealoaʻi poʻo ni nai laʻititi.
AI Inference mafai ona faaaoga se NVIDIA GPU e vave ai lona galuega. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference o se galuega faatino lautele GPU-faʻaititia. Faʻamautinoa o loʻo lagolagoina e lau polokalama le CUDA ma o lau faila faila / runtime e fetaui ma le manaʻoga o le galuega faatino mo AI Inference.
E le o avanoa le GPU servers e fa'atau ai. I le aso nei e mafai ona e fa'agaioia le AI Inference i luga o se fuafuaga CPU masani, e fa'aititia ai le saoasaoa nai lo le GPU: SSH i ma fa'agaioia le pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
E manaʻomia e le VRAM mo le AI Inference ona faʻalagolago lea i le ituaiga ma le tele o le vaega; siaki le tusi lesona o le poloketi mo ni faʻamatalaga o le taimi nei.
O le tau o le GPU o le a faalauiloaina pe a mafai ona talosagaina le GPU. Faafesootai mai pe afai e te manaʻo e iloa pe a tupu lea mea.
O le a uma le VPS.org server e maua ai le avanoa atoa i le root, ina ia mafai ai ona e faʻagaioia isi mea faigaluega e faʻatasi ai ma le AI Inference i totonu o le RAM ma le teuina o le server.
O le a oʻo mai i soʻo se 'au'aunaga VPS.org ma le faʻaaogaina atoa o le SSH root, ina ia mafai ai ona e faʻapipiʻi drivers, libraries ma AI Inference e ui lava e te manaʻomia.
E leai. E leai se 'au'aunaga e oʻo mai ma se CUDA runtime poʻo se NVIDIA driver preinstalled, ma e le o avanoa le GPU servers e faʻatau ai. E te faʻapipiʻi le lomiga e manaʻomia e AI Inference oe lava.
O le VPS.org servers o masini faʻaonapo nei, e le o ni faʻataʻitaʻiga e le tumau: AI Inference models, configs ma le faʻamatalaga e nofo i le SSD storage o le server seia e faʻasaʻo i latou.
Ia teuina le faʻaaogaina o faʻamatalaga i luga o le SSD o le 'au'aunaga mo le faʻaaogaina vave i le taimi o le AI Inference, ma faʻapipiʻi faʻaiuga o meatotino (maualuga, tausaga, embeddings) i le teuina i fafo atu o le VPS.org; ata ma backups nofo i le tutusa teuina cluster.
E mafai ona e faaleleia so'o se 'au'aunaga VPS.org i se fuafuaga tele mai le paneli pule; o le fa'aititia o le tele e toe amataina ai ma o le a fa'asolo atu lau' upega tafa'ilagi AI Inference. E le o avanoa nei 'au'aunaga GPU.
O backups o se totogi faaopoopo (i aso uma +30% o le tau o le fuafuaga, na teuina 7 aso; vaiaso +20%, na teuina 28 aso) ma snapshots e saoloto, lea e aoga i luma o le umi AI Inference e tatala. E lua nofo i le tutusa pusa teuina o le faitotoʻa.
Faafesootai le lagolago i totonu o aso 30 o lau muamua faʻatau e talosagaina se toe totogi. E leʻi faʻatauina foi GPU servers, o lea e le o aofia ai se GPU order.
E faʻatapulaʻaina le gafatia o le GPU. Taʻu mai ia i matou e uiga i lau mamafa o galuega ma o le a matou tali atu i le avanoa ma le tau.