Моделҳои AI-ро аз NVIDIA Tesla P40 (24 ГБ VRAM, архитектураи Pascal) хизматрасонӣ кунед: LLMs, моделҳои тасвир ва пешгӯиҳои дигар. Серверҳои GPU ҳоло фармоиш дода намешаванд; бо мо тамос гиред, то вақте ки онҳо фармоиш дода мешаванд, огоҳӣ диҳед.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Мисолҳои фармони насбкунӣ
Интихоби AI маънои иҷро кардани моделҳои омӯзишӣ барои истеҳсоли пешгӯиҳо мебошад. Сервери интихоби GPU моделро дар GPU бор карда нигоҳ медорад ва ба дархостҳо зудтар аз CPU ҷавоб медиҳад.
Процессор танҳо ба сервери шумо мегузарад, бинобар ин, таъхир аз корҳои дигари GPU-и муштариён таъсир намебинад.
Оллама, llama.cpp, Triton ё API-и худро истифода баред. Баъзе сохторҳои монанди vLLM ба GPU-ҳои навтар аз Pascal P40 ниёз доранд.
Агар як GPU кофӣ набошад, якчанд серверҳоро дар пушти балансигари боркунӣ иҷро кунед.
Дар як сол як ё ду маротиба тухм мегузорад.
AI Inference метавонад NVIDIA GPU- ро барои тезонидани кори худ истифода барад. Серверҳои VPS.org GPU ҳанӯз дастрас нестанд; бо мо тамос гиред, то бидонед, ки вақте ки онҳо дастрас мешаванд. AI Inference - ин боркунии кор бо суръати GPU мебошад. Боварӣ ҳосил кунед, ки нармафзори шумо дастгирии CUDA дорад ва версияҳои гардонанда/ иҷрошавандаи шумо талаботи боркунии корро барои AI Inference риоя мекунанд.
Серверҳои GPU ҳанӯз барои фармоиш дастрас нестанд. Имрӯз шумо метавонед AI Inference- ро дар нақшаи оддии CPU иҷро кунед, ки дар он он хеле сусттар аз GPU кор мекунад: SSH дар ва pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct- ро иҷро кунед.
Время работы VRAM для AI Inference зависит от модели и размера партии; для данных текущего времени ознакомьтесь с документацией проекта.
Нақшаҳои GPU VPS ҳармоҳа бо шартномаҳои бе қулф баста мешаванд ва метавонанд дар ҳар вақт бекор карда шаванд. Барои дараҷаҳои нархи GPU бо мо тамос гиред.
Ҳар як сервери VPS.org бо дастрасии пурраи root меояд, бинобар ин шумо метавонед дигар абзорҳоро дар якҷоягӣ бо AI Inference дар RAM ва захираи сервер иҷро кунед.
Ҳар як сервери VPS.org бо дастрасии пурраи root SSH меояд, бинобар ин шумо метавонед ронандаҳо, китобхонаҳо ва AI Inference-ро тавре, ки ба шумо лозим аст, насб кунед.
Не. Никто из серверов не поставляется с предварительно установленным CUDA runtime или NVIDIA драйвером, и серверы GPU пока не доступны для заказа. Вы устанавливаете версии, которые нужны AI Inference.
Да. Серверҳои VPS.org мошинҳои виртуалии доимӣ мебошанд, на намунаҳои кӯтоҳмуддат: моделҳои AI Inference, конфигуратсияи ва маълумот дар захираи SSD-и сервер то он даме, ки шумо онҳоро нест кунед, мемонанд.
Дар хотираи корӣ маълумотҳои корӣ дар сервери SSD барои дастрасии тез дар вақти иҷрои AI Inference нигоҳ доред ва нусхаи анҷомёфтаи артефактҳо (вазнҳо, наслҳо, дарҷҳо) ба захираи берун аз VPS.org; суратҳо ва нусхаҳои эҳтиётӣ дар як кластери захиравӣ мемонанд.
Шумо метавонед ҳар як сервери VPS.org-ро аз панели идоракунӣ ба нақшаи калонтар такмил диҳед; тағири андоза онро аз нав оғоз мекунад ва насбкунии AI Inference-и шумо ба он мегузарад. Серверҳои GPU ҳанӯз дастрас нестанд.
Да. Захираи нусхаи эҳтиётӣ иловаи пардохтшаванда мебошад (ҳаррӯза +30% аз нархи нақша, нигоҳ дошта мешавад 7 рӯз; ҳафтаина +20%, нигоҳ дошта мешавад 28 рӯз) ва суратҳо ройгон мебошанд, ки пеш аз иҷрои дароз AI Inference фоиданок аст. Ҳарду дар як кластери захиракунӣ бо сервер мемонанд.
Барои дархост кардани баргардонидани маблағ дар муддати 30 рӯзи хариди аввал бо дастгирӣ тамос гиред. Серверҳои GPU ҳанӯз фурӯхта нашудаанд, бинобар ин фармоиши GPU дар ин бора вуҷуд надорад.
GPU- и шумо маҳдуд аст. Ба мо дар бораи боркунии кории худ хабар диҳед ва мо бо дастрасӣ ва нарх ҷавоб хоҳем дод.