NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) менен AI моделдерин кызматка коюу: LLMs, image models and other predictions. GPU servers are not yet available; contact us to be informed when they are available.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Орнотуу командасынын мисалы
AI инференциясы - бул болжолдорду чыгаруу үчүн машыктырылган моделдерди иштетүү. GPU инференция сервери GPUго жүктөлгөн моделди сактап, CPUго караганда тез жооп берет.
Графикалык процессор сиздин серверге гана берилет, ошондуктан башка клиенттердин Графикалык процессор тапшырмалары кечиктирүүгө таасир этпейт.
Ollama, llama.cpp, Triton же өзүңүздүн API'ңүздү колдонуп көрүңүз. Кээ бир фреймворктарга, мисалы vLLM, Pascal P40'тан жаңы GPU керек.
Эгерде бир гана графикалык процессор жетишсиз болсо, бир нече серверди өз жүк балансириңиздин артында иштетүү.
Бир орточо өлчөмдөгү модель же бир нече кичинелерин кызмат кылат.
AI Inference өзүнүн ишин тездетүү үчүн NVIDIA GPU'сун колдоно алат. VPS.org GPU серверлери азырынча буйрук үчүн жеткиликтүү эмес; алар качан жеткиликтүү болорун билүү үчүн биз менен байланышыңыз. AI Inference - бул жалпы GPU-акселрацияланган иш жүктөө. Сиздин программаңыз CUDA колдоосун колдооруна жана сиздин драйвериңиз / иштетүү версияңыз AI Inference үчүн иш жүктөө талаптарына шайкеш келгенине ынаныңыз.
Графикалык процессорлор серверлери азырынча буйрук үчүн жеткиликтүү эмес. Бүгүнкү күндө сиз AI Inference программасын кадимки процессор планында иштете аласыз, ал графикалык процессорго караганда бир топ ылдамыраак иштейт: SSH аркылуу кирип, pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct программасын иштетиңиз.
AI Inference үчүн VRAM керектөөлөрү моделден жана пакеттин өлчөмүнөн көз каранды; учурдагы көрсөткүчтөр долбоордун документациясынан табылган.
GPU серверлердин баасы GPU серверлер буйрук кылынганда жарыяланат. Эгерде сиз бул жөнүндө билүүнү кааласаңыз, биз менен байланышыңыз.
Да. Каждый сервер VPS.org имеет полный доступ к root, поэтому вы можете запускать другие инструменты вместе с AI Inference в пределах сервера RAM и хранилища.
Ар бир VPS.org сервери толук root SSH мүмкүнчүлүгү менен келет, ошондуктан сиз керектүү драйверлерди, библиотекаларды жана AI Inference орното аласыз.
Жок. Серверлер CUDA же NVIDIA драйверлери менен орнотулбайт, ошондой эле GPU серверлери азырынча буйрук кылууга мүмкүн эмес. Сиз AI Inference керектүү версияларын өзүңүз орнотосуз.
Да. VPS.org серверлери туруктуу виртуалдык машиналар, эффемердүү экземпляр эмес: AI Inference моделдери, конфигурациялары жана маалыматтары сиз аларды өчүргөнгө чейин сервердин SSD сактоочу жайында калат.
Работающие данные хранятся на сервере SSD для быстрого доступа во время выполнения AI Inference, а законченные артефакты (весы, поколения, вставки) копируются в хранилище вне VPS.org; снимки и резервные копии остаются на том же хранилище кластера.
Сиз каалаган VPS.org серверин башкаруу панелинен чоңураак планга жаңыртууга болот; өлчөмүн өзгөртүү менен ал кайрадан иштей баштайт жана AI Inference орнотуулары алмаштырылат. GPU серверлери азырынча жок.
Да. Резервдик көчүрмөлөр акы төлөнүүчү кошумча кызмат (күнүнө +30% пландын баасы, 7 күн сакталат; жумасына +20%, 28 күн сакталат) жана сүрөттөр акысыз, бул AI Inference узакка иштебей турганда пайдалуу. Эки кызмат да сервер менен бир эле сактоо кластеринде калат.
Сумма возврата должна быть получена в течение 30 дней после первого покупки. Графические серверы пока не проданы, поэтому заказ на них не производится.
Графикалык процессордун кубаттуулугу чектелген. Сиздин иш жүктөмүңүз тууралуу бизге кабарлаңыз, биз сизге жеткиликтүүлүгү жана баасы тууралуу жооп беребиз.