Maghatid ng mga modelo ng AI mula sa isang NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture): LLMs, mga modelo ng imahe at iba pang mga hula. GPU server ay hindi orderable pa; makipag-ugnay sa amin upang ma-notify kapag sila ay.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Halimbawa ng pag-install ng utos
Ang isang GPU inferensiya server ay natiling isang modelo na naka-load sa GPU at sagot mga kahilingan mas mabilis kaysa sa isang CPU.
Ang GPU ay ipinasa sa pamamagitan ng sa iyong server nag-iisa, kaya latency ay hindi apektado ng iba pang mga customer' GPU trabaho.
Gamitin Ollama, llama.cpp, Triton o ang iyong sariling API. Ang ilang mga frameworks, tulad ng vLLM, kailangan mas bagong GPUs kaysa sa Pascal P40.
Patakbuhin ang ilang mga server sa likod ng iyong sariling load balancer kung ang isang GPU ay hindi sapat.
Maghatid ng isang mid-size modelo o ilang mas maliit na mga ito.
AI Inference ay maaaring gamitin ang isang NVIDIA GPU upang mapabilis ang trabaho nito. VPS.org GPU server ay hindi magagamit upang mag-order pa; makipag-ugnay sa amin upang marinig kapag sila ay. AI Inference ay isang pangkalahatang GPU-accelerated workload. Siguraduhin na ang iyong software ay may CUDA suporta at na ang iyong driver / runtime bersyon magkasya ang mga kinakailangan ng workload para sa AI Inference.
Ang mga server ng GPU ay hindi pa magagamit para sa pag-order. Ngayon maaari mong patakbuhin AI Inference sa isang regular na plano ng CPU, kung saan ito ay gumagana malayo mas mabagal kaysa sa isang GPU: SSH sa at patakbuhin pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM pangangailangan para sa AI Inference depende sa modelo at laki ng batch; suriin ang proyekto ng dokumentasyon para sa kasalukuyang mga numero.
GPU pricing ay nai-publish kapag GPU server ay maaaring iniutos. Makipag-ugnay sa amin kung nais mong marinig kapag na nangyayari.
Ang bawat server VPS.org ay may buong root access, kaya maaari mong patakbuhin ang iba pang mga tool kasama AI Inference sa loob ng RAM at imbakan ng server.
Ang bawat server VPS.org ay may buong root SSH access, kaya maaari mong i-install ang mga driver, mga aklatan at AI Inference gayunpaman kailangan mo.
Hindi. Walang server ay dumating na may isang CUDA runtime o NVIDIA driver pre-install, at GPU server ay hindi magagamit upang mag-order pa. I-install mo ang mga bersyon AI Inference kailangan ang iyong sarili.
Ang mga server na VPS.org ay mga matiyagang virtual machine, hindi mga pansamantalang halimbawa: mga modelo ng AI Inference, mga configuration at data na mananatili sa SSD storage ng server hanggang sa tanggalin mo ang mga ito.
Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Maaari mong i-upgrade ang anumang VPS.org server sa isang mas malaking plano mula sa control panel; ang resize restarts ito at ang iyong AI Inference i-install ay nagdadala sa paglipas ng. GPU server ay hindi pa magagamit.
Oo. Backup ay isang bayad na add-on (araw-araw +30% ng presyo ng plano, pinananatili7araw; lingguhang +20%, pinananatili 28 araw) at snapshots ay libre, na kung saan ay kapaki-pakinabang bago ang mahabang AI Inference tumatakbo. Parehong manatili sa parehong cluster ng imbakan bilang ang server.
Makipag-ugnay sa suporta sa loob ng 30 araw ng iyong unang pagbili upang humiling ng isang refund. GPU server ay hindi nabili pa, kaya walang GPU order ay kasangkot.
GPU kapasidad ay limitado. Sabihin sa amin tungkol sa iyong workload at kami ay tumugon sa availability at pricing.