NVIDIA Tesla P40 (24 ГБ VRAM, Pascal архитектурасы) жасанды интеллект моделін көрсету: LLM, бейне модельдері және басқа болжамдар. ГП серверлері әлі тапсырыс берілмеген; тапсырыс берілгенде хабарласыңыз.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Орнату командасының мысалы
ДК- ның тұжырымы дегеніміз - болжам жасау үшін үйренген модельдерді орындау. ГПУ тұжырым сервері модельді ГПУ- да сақтап, сұранысқа процессордан жылдам жауап береді.
Графикалық процессор тек серверіңізге ғана беріледі, сондықтан басқа клиенттердің Графикалық процессор тапсырмалары кешіктіруге әсер етпейді.
Ollama, llama. cpp, Triton немесе өзіңіздің API- ны қолданыңыз. vLLM сияқты кейбір жүйелік блоктар Pascal P40- тан жаңарақ графикалық процессорды қажет етеді.
Бір графикалық процессор жеткіліксіз болса, бірнеше серверді өз жүктеме баланстаушысының артында орындау.
Біріншісі - 1000-нан астам, екіншісі - 1000-нан астам.
AI Inference жұмысын жеделдету үшін NVIDIA графикалық процессорын пайдалана алады. VPS.org графикалық процессор серверлері әлі тапсырыс беруге дайын емес; олар келсе хабарласыңыз. AI Inference - жалпы графикалық процессормен жеделдетілген жұмыс жүктемесі. Бағдарламаңыз CUDA қолдайтынын және драйверіңіздің / орындау ортасының нұсқасы AI Inference үшін керек жүктемеге сәйкес келетінін тексеріңіз.
Графикалық процессор серверлері әлі тапсырыс берілмеді. Бүгінде AI Inference- ті стандартты процессор жоспарында орындауға болады, ол графиктік процессормен салыстырғанда баяу жұмыс істейді: SSH арқылы кіріңіз де pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct- ті орындаңыз.
AI Inference үшін VRAM қажеттілігі модель мен десте өлшеміне байланысты; қазіргі мәндер жоба құжаттамасына қараңыз.
Графикалық процессор бағасы Графикалық процессор серверлері тапсырыс берілгенде жарияланады. Егер бұл туралы білгіңіз келсе, бізбен байланысыңыз.
Иә. Әрбір VPS.org сервері root рұқсатымен келеді, сондықтан сервердің RAM және сақтау орындарында AI Inference-пен бірге басқа құралдарды да орындай аласыз.
Әрбір VPS.org сервері root SSH қатынауымен келеді, сондықтан драйверлерді, жиын файлдарын және AI Inference- ті қажетіңізге қарай орната аласыз.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions AI Inference needs yourself.
Иә. VPS.org серверлері тұрақты виртуалды машиналар, сәтсіз мысалдар емес: AI Inference үлгілері, конфигурациялары және деректері оларды өшіргенше сервердің SSD сақтауында қалады.
Сервердің SSD-де жұмыс деректерін сақтау, AI Inference орындау кезінде тез қол жеткізу үшін, және аяқталған артефактілерді (салмақтар, генерациялар, ендірулер) VPS.org-тен тыс сақтауға көшіру; слайдшоу мен сақтық көшірмелерді сол сақтау кластерінде сақтау.
Барлық VPS.org серверлерді басқару панелінен үлкен жоспарға жаңартуға болады; өлшемін өзгерту оны қайта іске қосады және AI Inference орнатуыңыз одан әрі жалғасады. Графикалық процессор серверлері әлі жоқ.
Иә. Сақтық көшірмелеу төлемді қосымша қызмет (күн сайын +30% жоспар бағасы, 7 күн сақталады; апта сайын +20%, 28 күн сақталады) және скриншоттар тегін, бұл AI Inference- ті ұзақ уақыт орындау алдында пайдалы. Екеуі де сервердің бір сақтау кластерінде қалады.
Бірінші сатып алуыңыздан кейін 30 күн ішінде қолдау қызметіне хабарласып, ақшаны қайтаруды сұраңыз. Графикалық процессор серверлері әлі сатылмайды, сондықтан Графикалық процессорды тапсырыс беру қажет емес.
Графикалық процессордың қуаты шектеулі. Жұмыс жүктемеңіз туралы айтып беріңіз, біз қолжетімділігі мен бағасын хабарлаймыз.