NVIDIA Tesla P40 (24 GB VRAM, Pascal архитектураси)дан AI моделларини хизматга қўйиш: LLMs, тасвир моделлари ва бошқа прогнозлар. GPU серверлари ҳозирча буюртма қилина олмайди; улар буюртма қилинганда хабар олиш учун бизга мурожаат қилинг.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Ўрнатиш буйруғи мисоли
AI индукцияси, тажрибали моделларни ишлатишни назарда тутади. GPU индукция сервери GPUда юкланган моделни сақлайди ва CPUдан кўра тезроқ саволларга жавоб беради.
GPU фақат сизнинг серверингизга ўтади, шунинг учун бошқа мижозларнинг GPU ишлари билан кечикиш таъсирланмайди.
Ollama, llama.cpp, Triton ёки ўз API'ингизни ишлатинг. vLLM каби баъзи framework'лар Pascal P40'дан янги GPU'ларга эҳтиёж сезади.
Агар бирта GPU етарли бўлмаса, ўз юклама балансирингиз ортида бир неча серверларни ишга туширинг.
(Ушбу оятда Аллоҳ таоло Пайғамбаримиз Муҳаммадга (с. а. в.) хитоб қилиб, мўминлар биродардирлар, деган маънони таъкидламоқда.)
AI Inference NVIDIA GPU'ни иш тезлигини ошириш учун ишлата олади. VPS.org GPU серверлари ҳозирча буюртма учун мавжуд эмас; улар пайдо бўлганда бизга мурожаат қилинг. AI Inference GPU тезлаштирилган умумий иш юкламасидир. Сизнинг дастурингиз CUDA'ни қўллаб-қувватлашини ва драйверингиз/иш вақти версиянгиз AI Inference учун иш юклама талабларига мос келишини текширинг.
GPU серверлари ҳозирча буюртма учун мавжуд эмас. Бугунги кунда AI Inference'ни оддий CPU режасида ишга тушира оласиз, у GPU'дан анча секинроқ ишлайди: SSH'га киринг ва pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct'ни ишга туширинг.
AI Inference учун VRAM талаблари модел ва партия ҳажмига боғлиқ; ҳозирги рақамлар учун лойиҳа ҳужжатларини текширинг.
GPU нархлари GPU серверлари буюртма қилиниши мумкин бўлганда эълон қилинади. Агар бу содир бўлганда эшитишни истасангиз биз билан алоқа қилинг.
Ҳа. Ҳар бир VPS.org сервери тўлиқ root рухсати билан келади, шунинг учун сиз сервер RAM ва сақлашда AI Inference билан бирга бошқа асбобларни ҳам ишга тушира оласиз.
Ҳар бир VPS.org сервери тўлиқ root SSH кириши билан келади, шунинг учун сиз драйверлар, китобхоналар ва AI Inference'ни ўзингизга керак бўлган тарзда ўрнатишингиз мумкин.
Йўқ. Сервер CUDA runtime ёки NVIDIA драйвери билан олдиндан ўрнатилган ҳолда келмайди, GPU серверлари эса ҳозирча буюртма учун мавжуд эмас. Сиз AI Inference керакли версияларни ўзингиз ўрнатасиз.
Ҳа. VPS.org серверлари доимий виртуал машиналар, вақтинчалик нусхалар эмас: AI Inference моделлари, конфигурациялари ва маълумотлари уларни ўчириб ташлагунингизча сервернинг SSD сақловида қолади.
AI Inference ишга туширилганда тезкор кириш учун иш маълумотларини сервернинг SSD сида сақлаш ва тугалланган артефактларни (вазн, авлодлар, ёпиштириш) VPS.org дан ташқаридаги сақлашга нусхалаш; суратлар ва нусхалар бир хил сақлаш кластерида қолади.
Сиз бошқарув панелидан ҳар қандай VPS.org серверини каттароқ планга янгилай оласиз; ўлчамларни ўзгартириш уни қайта ишга туширади ва AI Inference ўрнатишингиз ўрнатишларни олиб кетади. GPU серверлари ҳозирча мавжуд эмас.
Ҳа. Заҳира нусхалари тўловли қўшимча (ҳар куни +30% режа нархи, 7 кун сақланадиган; ҳафтада +20%, 28 кун сақланадиган) ва суратлар бепул, бу узоқ AI Inference ишлашдан олдин фойдали. Иккаласи ҳам сервер билан бир хил сақлаш кластерида қолади.
Қўллаб-қувватлаш хизматига биринчи харидингиздан 30 кун ичида пулни қайтариш учун мурожаат қилинг. GPU серверлари ҳали сотилмаган, шунинг учун GPU буюртмаси йўқ.
GPU қуввати чекланган. Бизга иш юкингиз ҳақида айтинг, биз сизга мавжудлиги ва нархини айтиб берамиз.