Служи ВИ моделима из НВИДИА Тесла П40 (24 ГБ ВРАМ, Паскал архитектура): ЛЛМ, слике и остала предвиђања. ГПУ сервери још увек нису у реду; контактирајте нас да их обавестимо када су.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Прим› јер инсталиране наредбе
Закључак ВИ значи покретање обучених модела за производњу предвиђања. Сервер ГПУ за закључке држи модел учитан на ГПУ и захтева много брже од ЦПУ‐ а.
ГПУ је пребачен само на ваш сервер, тако да не утиче на латенцију послова других клијената.
Користите Оламу, Ламу. Цpp, Тритон или ваш АПИ. Неким оквирима, као што је ВЛМ, требају новији ГПУ од Паскала П40.
Покрени неколико сервера иза сопственог балансера оптерећења ако један ГПУ није довољан.
Послужите један модел средње величине или неколико мањих.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
Сервери ГПУ још нису доступни за наручивање. Данас можете покренути AI Inference на обичном ЦПУ плану, где ради много спорије него на ГПУ: SSH у и покренути pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
ВРАМ треба за AI Inference зависи од модела и партијске величине; проверите текуће бројеве у пројекту.
ГПУ цена ће бити објављена када ГПУ сервери могу бити наручени. Контактирајте нас ако желите да чујете када се то догоди.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside AI Inference within the server's RAM and storage.
Сваки сервер VPS.org долази са пуним коренским СХХ приступом, тако да можете инсталирати драјвере, библиотеке и AI Inference како вам је потребно.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions AI Inference needs yourself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: AI Inference models, configs and data stay on the server's SSD storage until you delete them.
Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Надоградите сваки сервер VPS.org на већи план из контролног панела; промене величине рестартује га и инсталирање зAI Inference преноси. Сервери ГПУ‐ а још увек нису доступни.
Yes. Backups are a paid add-on (daily +30% of the plan price, kept 7 days; weekly +20%, kept 28 days) and snapshots are free, which is useful before long AI Inference runs. Both stay on the same storage cluster as the server.
Подршка за контакте у року од 30 дана од ваше прве куповине захтева повраћај. ГПУ сервери још нису продати, тако да није укључен ГПУ налог.
ГПУ капацитет је ограничен. Реците нам о вашем радном послу и одговорићемо са доступношћу и ценом.