NVIDIA Tesla P40 (24GB VRAM, Pascal architecture)-аас AI загваруудыг хүргэх: LLMs, зурагны загварууд болон бусад таамаглалууд. ГПҮ серверүүд одоогоор захиалгагүй байна. Хэрэв захиалга өгвөл бидэнтэй холбоо барина уу.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Жишээ суурилуулах команд
AI inference нь урьдчилан таамаглах зорилгоор сургасан загваруудыг ажиллуулдаг. GPU inference сервер нь GPU дээр загваруудыг ачаалсан хэвээр нь хадгалж, CPU- аас илүү хурдан хариулт өгдөг.
График процессор зөвхөн таны серверт дамжуулагддаг тул бусад хэрэглэгчдийн График процессорын ажил нь явагддаггүй.
Ollama, llama.cpp, Triton эсвэл өөрийн API-г ашигла. vLLM гэх мэт зарим бүтэц нь Pascal P40-ээс шинэ график процессор шаарддаг.
Хэрэв нэг график процессор хангалтгүй бол өөрийн ачааллыг тэнцүүлэх системийн ард олон серверүүдийг ажиллуулна.
Нэг дунд хэмжээний загвар эсвэл хэд хэдэн жижиг загварыг ашиглана.
AI Inference нь NVIDIA график процессор ашиглан ажлын хурдыг нэмэгдүүлэх боломжтой. VPS.org график серверүүд одоогоор захиалах боломжгүй; хэзээ захиалах боломжтой болохыг бидэнтэй холбоо барина уу. AI Inference нь ерөнхий график процессороор хурдасгасан ажлын ачаалал юм. Таны програм хангамж CUDA дэмжлэгтэй, таны драйвер/ үйлдлийн системийн хувилбарууд AI Inference-ийн шаардлагыг хангаж байгаа эсэхийг шалгана уу.
ГПХ серверүүд одоогоор захиалах боломжгүй байна. Одоо та AI Inference-ийг GPU-оос хамаагүй удаан ажилладаг зүгээр л CPU-ийн төлөвлөгөөнд ашиглаж болно: SSH-ээр орж pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct-ийг ажиллуулна.
AI Inference-ийн VRAM-ийн хэрэгцээ загвар болон багцын хэмжээнээс хамаарна. Одоогийн тоонууд төслийн баримт бичгээс үзнэ үү.
ГП серверүүд захиалагдсан үед ГП-ийн үнэлгээний мэдээллийг нийтлүүлнэ. Хэрэв та энэ мэдээллийг авахыг хүсвэл бидэнтэй холбоо барина уу.
Тийм. Бүх VPS.org серверүүд root эрхтэй байдаг, ингэснээр та серверийн RAM болон хадгалах санд AI Inference-тэй хамт бусад хэрэгслийг ажиллуулж болно.
Бүх VPS.org серверүүд root SSH-ийн бүрэн эрхтэй байдаг, ингэснээр та драйвер, сан болон AI Inference-ийг өөрийн хэрэгцээнд тохируулан суулгаж болно.
Үгүй. CUDA-ийн гүйцэтгэх хугацаа эсвэл NVIDIA-ийн драйвер суулгасан сервер байхгүй, мөн GPU серверүүд одоогоор захиалах боломжгүй байна. Та AI Inference-ийн шаардлагатай хувилбаруудыг өөрсдөө суулгах хэрэгтэй.
Тийм ээ. VPS.org серверүүд нь тогтвортой виртуал машинууд, нэн ховор тохиолдол биш: AI Inference загварууд, тохиргоо, мэдээллийг устгахгүй бол серверийн SSD хадгалах газарт үлдэнэ.
Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Та зVPS.org серверийг удирдлагын самбараас илүү том төлөвлөгөөнд шинэчилж болно. хэмжээг өөрчлөхөд дахин эхлүүлж, AI Inference суулгалтыг хадгална. ГПҮ серверүүд одоогоор байхгүй.
Тийм ээ. Нууцлалын нөөц нь төлбөртэй нэмэлт (өдөр бүр +30% төлөвлөгөөний үнэ, 7хоногийн турш хадгална; долоо хоног бүр +20%, 28хоногийн турш хадгална) ба зураг нь үнэгүй, AI Inference удаан ажиллахаас өмнө тохиромжтой. Хоёр нь сервертэй ижил хадгалах кластерт үлдэнэ.
Эхний худалдан авалтаас хойш 30 хоногийн дотор дэмжлэгт хандаж буцаан олголт авахыг хүснэ. ГПҮ серверүүд одоогоор зарагдаагүй байгаа тул ГПҮ захиалга байхгүй.
График процессорын хүчин чадал хязгаарлагдсан. Таны ажлын ачаалал, боломжит үнэ, үнэлгээний талаар бидэнд мэдэгдээрэй.